Про оцінювання великих мовних моделей на рівень володіння українською мовою

29–30 травня 2026 року в Українському католицькому університеті відбулася п’ята конференція UNLP (Ukrainian Natural Language Processing) – форум, що зосереджений на питаннях опрацювання української природної мови і об’єднує провідних науковців, дослідників і практиків у сфері комп’ютерної лінгвістики. У перший день роботи колектив авторів, а саме: Юлія Чернобров (Національна комісія зі стандартів державної мови), Світлана Галещук (Західноукраїнський національний університет), Юлія Максимюк (незалежного дослідника), Олександра Антонів, Ніна Станкевич, Наталія Фарина (Львівський національний університет імені Івана Франка) та Оксана Попкова (Херсонський державний університет), – представив доповідь «Toward   a Gold-Standard Benchmark for Evaluating Ukrainian Language Proficiency in LLMs» про шляхи створення еталонного стандарту для оцінювання рівня володіння українською мовою великих мовних моделей.

 У доповіді висвітлено результат спільної роботи фахівців мовознавчого сектору в межах проєкту Міністерства цифрової трансформації України та компанії «Київстар» зі створення української національної великої мовної моделі «Сяйво».

Результати свідчать про те, що українська літературна мова є досить складною для сучасних великих мовних моделей, а тому треба вдосконалювати та масштабувати роботу з тренування та оцінювання цих ресурсів.

З повним текстом можна ознайомитися за покликанням https://share.google/GZ5CZIz0srGDHIeS2

Колектив авторів дякує команді компанії «Київстар» за тестування напрацьованого набору даних.