Яндекс опубликовал в открытом доступе на платформе Hugging Face Alice AI Search Pretrain — языковую модель, которая лежит в основе быстрых ИИ-ответов в сервисе Поиск. Компания стала первой, кто раскрыл базовую (pretrain) версию модели, непосредственно задействованной в продукте. Alice AI Search Pretrain построена на гибридной архитектуре, которая прежде существовала почти исключительно в научных работах. Модель объединяет два подхода: «энкодер-декодер» и MoE (Mixture of Experts — смесь экспертов)...