В Астане была представлена первая национальная языковая модель KAZ-LLM, созданная для преодоления языкового разрыва с использованием технологий искусственного интеллекта. Презентация модели состоялась на встрече с Президентом Казахстана Касым-Жомартом Токаевым и стала значимым вкладом в развитие отечественных технологий. Проект был реализован Институтом умных систем и искусственного интеллекта (ISSAI NU) в партнерстве с Beeline Казахстан, QazCode и Astana Hub, под руководством Министерства цифрового развития, инноваций и аэрокосмической промышленности РК.
Совсем недавно в сфере генеративного искусственного интеллекта произошел заметный прогресс, особенно в области больших языковых моделей, таких как GPT-4 и LLaMA. Однако большинство из них ориентированы на языки с высоким уровнем доступности, что создает языковой разрыв для менее распространенных языков. Это приводит к ухудшению качества пользовательского опыта и усиливает цифровое неравенство.
Модель KAZ-LLM была разработана с использованием 150 миллиардов токенов, собранных из общедоступных источников на казахском, русском, английском и турецком языках. Это позволяет модели обеспечивать высокую точность и универсальность в обработке текстов и переводах. Токены представляют собой минимальные единицы текста, которые используются для анализа информации.
Интерфейс модели соответствует современным мировым стандартам, что подчеркивает ее технологическую зрелость. Для оценки производительности KAZ-LLM были проведены тесты по различным областям знаний, включая научное мышление, математику и логическое мышление.
Ключевую роль в разработке модели сыграли Beeline Казахстан и QazCode, которые предоставили необходимые вычислительные мощности для ускорения процесса обучения. Обучение модели проходило на мощных серверах, что значительно сократило время обработки данных.
Разработчики создали две версии модели с 8 и 70 миллиардами параметров. По словам Алексея Шаравара, CEO QazCode, использование современных технологий машинного обучения позволило значительно улучшить качество взаимодействия с пользователями.
Проект KAZ-LLM открывает новые горизонты для стартапов и инновационных проектов в области искусственного интеллекта в Казахстане. В будущем планируется разработка более совершенных моделей, которые будут интегрировать языковые и визуальные данные, а также поддерживать другие тюркские языки, что укрепит связи между тюркоязычными сообществами.
