Подробнее о работе над казахским языком в ChatGPT рассказала руководитель совместного проекта Международного общества «Қазақ тілі» и OpenAI Анар Курманжанкызы.
По ее словам, казахскому языку и культуре нейросеть обучают с помощью системы оптического распознавания символов (OCR). Этот метод помогает ИИ распознавать казахские тексты в газетах, книгах и PDF-документах, определять структуру страниц и правильно считывать текст, в том числе на многостолбцовых страницах.
— Эти технологии позволят оцифровывать архивные материалы и учебники, а также повысить качество поиска и обработки цифрового контента на казахском языке, — сказала она на презентации проекта.
Сейчас разработчики собирают тексты и аудиоданные на казахском языке, чтобы выгружать их для обучения ИИ. Прогресс заметен уже сейчас — нейросеть способна распознавать казахскую речь с высокой точностью.
— Объем аудиоданных составляет 12 тысяч часов. Все записи очищены от фонового шума, музыки и других посторонних звуков. Кроме того, внедрены модели транскрипции, адаптированные для казахского языка, благодаря чему точность преобразования речи в текст доведена до 98%, — рассказала Курманжанкызы.
Ранее сообщалось, что для улучшения ответов от ChatGPT на казахском языке специалисты собрали текстовую базу на 14 млрд токенов. В нее вошли материалы разных периодов развития языка, в том числе по истории, культуре, образованию и науке, а также языковое наследие казахской диаспоры за рубежом.
Также ChatGPT проверили на знание истории, традиций и культуры казахского народа. Такие этнографические знания помогут нейросети давать более точные ответы о Казахстане.