21 сентября Яндекс опубликовал на Hugging Face претрейн-версию своей новой большой языковой модели — Alice AI Foundation LLM. Модель обучена полностью с нуля и, по заявлению компании, без сторонних зарубежных составляющих — Яндекс позиционирует её как полностью суверенную. Лицензия Apache 2.0: можно свободно использовать в исследованиях и коммерческих продуктах. Архитектура — Mixture of Experts: всего 80 млрд параметров, но в каждый момент активны только 3 млрд. Отсюда главная практическая черта — дешёвый и быстрый инференс. Контекстное окно — 262 144 токена: этого хватает, чтобы загрузить в...