Українську велику мовну модель тренуватимуть на Gemma від Google

Про це повідомило Міністерство цифрової трансформації, передає Укрінформ. 

«Разом з «Київстар» обрали велику мовну модель, на якій тренуватимуть національну українську LLM, — нею стане Gemma 3 від Google», - йдеться в повідомленні.

Як наголошують у Мінцифри, серед ключових переваг обраної моделі - оптимальний баланс продуктивності та ресурсів (Gemma – одна з найкращих серед відкритих моделей з погляду співвідношення розміру та якості), її багатомовність (вона вже має українську мову у своєму діапазоні та легко адаптується через донавчання), мультимодальність (вміння сприймати й аналізувати не лише текст, а й зображення), розширений токенайзер (Gemma має довге контекстне вікно — це 128 тисяч токенів) тощо.

Щоб покращить роботу моделі від Google з українською мовою, зменшити помилки при створенні україномовних текстів, планується вдосконалити український токенайзер, донавчити її на унікальних україномовних текстах, створити тести для більш точного налаштування для подальшого використання.

Як повідомлялося, Мінцифри починає роботу над створенням AI Factory – інфраструктури, на якій працюватимуть ключові державні сервіси зі штучним інтелектом. 

Фото: Мінцифри