Об этом рассказала руководитель совместного проекта Международного общества «Қазақ тілі» и OpenAI Анар Курманжанкызы на презентации.
По ее словам, сейчас уровня владения казахским языком системами искусственного интеллекта оценивает специально разработанная программа AI Evaluation Benchmark Suite.
— Система оценки тестирует большие языковые модели по таким направлениям, как понимание, грамматика, естественность казахской речи, использование пословиц, поговорок и устойчивых выражений, академический перевод, художественный перевод с казахского на английский язык, перевод детской литературы, безопасность и знание этнографии. Система оценки не была переведена с английского языка, а изначально разработана на казахском с учетом языковых и культурных особенностей казахского языка, — рассказала Курманжанкызы.
Для оценки знаний ИИ об истории, культуре и традициях казахского народа разработали отдельный этнографический тест.
— Разработан полноценный бенчмарк, включающий 500 вопросов. Он позволяет оценить знания больших языковых моделей об истории, традициях и культуре казахского народа. Модель GPT-5.6 Terra, прошедшая тестирование на этом бенчмарке, показала точность 35,92%. В дальнейшем планируется сделать этнографический бенчмарк доступным научному сообществу. Это позволит использовать его в качестве инструмента для оценки других языковых моделей, — рассказала Анар Курманжанкызы.
Ранее сообщалось, что для улучшения ответов от ChatGPT на казахском языке специалисты собрали текстовую базу на 14 млрд токенов.
Напомним, Казахстан заключил соглашение с OpenAI 7 ноября 2025 года в рамках визита Главы государства в США.