«Яндекс» открыл доступ к собственной обученной с нуля суверенной языковой модели Alice AI Search Pretrain. Это компактная языковая модель, которая уже прошла первый этап обучения и имеет знания о мире. Благодаря своей архитектуре она способна мгновенно давать емкие ответы и обрабатывать большой поток запросов.
Модель имеет гибридную архитектуру, которую раньше использовали преимущественно в научных исследованиях. Она объединяет две технологии: «Энкодер-декодер» (Encoder-Decoder) и MoE (Mixture of Experts).
Первая позволяет давать ответ за счет того, что одна часть модели изучает и отбирает информацию, а другая генерирует ответ. Вторая технология ускоряет работу модели и экономит вычислительные мощности. Вместо того, чтобы задействовать всю нейросеть, MoE активирует только ту часть ее «мозга», которая лучше разбирается в теме. Эта модель содержит 35 миллиардов параметров, но при обработке одного токена (небольшого фрагмента текста) используется лишь около 600 миллионов — менее 2 процентов.
По данным замеров методом слепого тестирования, Alice AI Search Pretrain отвечает лучше зарубежных моделей в своей категории, и даже сопоставима по качеству с аналогами требующими в разы больше вычислительных ресурсов.
С июля в поисковой системе компании работает дообученная версия этой ИИ-модели. Для емких и понятных ответов разработчики собрали пользовательские сигналы и обучили модель на реальных примерах взаимодействия людей с поиском. Ответы же появляются прямо под поисковой строкой и помогают быстро разобраться в теме. Каждый месяц быстрыми ответами пользуются более 49 миллионов человек.