ChatGPT на казахском хотят избавить от «галлюцинаций» с помощью новых данных
ChatGPT обучают лучше понимать казахский язык и точнее отвечать на нем. Для этого специалисты собрали большой массив казахоязычных текстов, аудио и других данных, передает корреспондент агентства Kazinform.
О работе над казахоязычным контентом с компанией OpenAI рассказал президент Международного общества «Қазақ тілі» Рауан Кенжеханулы.
— Мы тесно сотрудничаем с компанией OpenAI в этом направлении. Для работы им потребовался большой объем данных на казахском языке — в виде текстов, аудиофайлов и других материалов. Мы взяли эту работу на себя. Если говорить техническим языком, собрано более 10 млрд токенов. Это могут быть самые разные тексты на казахском языке, аудиофайлы, изображения. Теперь благодаря этим данным мы заново обучаем ChatGPT, — рассказал Рауан Кенжеханулы.
Сейчас специалисты проекта собирают тексты и аудиоданные на казахском языке, чтобы обучить ИИ. Объем текстовой базы Kazakh Text Corpus уже достиг 14 млрд токенов.
В нее вошли материалы разных периодов развития казахского языка, а также языковое наследие казахской диаспоры за рубежом. Данные распределены по темам, жанрам и возрастным категориям и охватывают образование, науку, технологии, экономику, право, медицину, историю, этнографию, медиа и детский контент.
— Благодаря этому ChatGPT должен стать более качественным инструментом для перевода и работы с информацией на казахском языке. В том числе, что особенно важно для нас, он должен точнее отвечать на вопросы, связанные с казахской культурой, языком, традициями и историей, без ошибок и так называемых «галлюцинаций». Поэтому в ближайшее время ChatGPT и другие подобные инструменты искусственного интеллекта должны начать работать на казахском языке гораздо глубже, качественнее и точнее, — отметил он.
По словам Кенжеханулы, одной из сложностей в этой работе остается небольшой объем казахоязычного контента, доступного для обучения искусственного интеллекта.
— Любая ИИ-модель в первую очередь опирается на данные, которые ранее были созданы на этом языке и размещены в интернете. По сравнению с английским или русским языком объем данных на казахском значительно меньше, — объяснил глава общества.
Чтобы восполнить этот пробел, материалы собирают в архивах, музеях, библиотеках и других источниках. После получения необходимых разрешений их систематизируют и формируют специальные массивы данных.
Кенжеханулы отметил, что эта работа должна улучшить ответы ChatGPT на казахском языке и распознавание текстов, аудио и речи.
Напомним, Казахстан заключил соглашение с OpenAI 7 ноября 2025 года в рамках визита Главы государства в США.
