Rednote представила первый open-source LLM с Mixture-of-Experts Компания Rednote выпустила свой первый открытый языковой ИИ — dots.llm1 — построенный по принципу Mixture-of-Experts (MoE). Эта система может работать на уровне ведущих аналогов при значительно меньших затратах. Согласно техническому отчету Rednote, dots.llm1 использует 14 миллиардов активных параметров из общего числа 142 миллиардов. Архитектура разбивает модель на 128 отдельных “экспертов”, из которых для каждого токена выбираются лучшие шесть,… Подробнее
Rednote представила первый open-source LLM с Mixture-of-Experts
15 июня 202515 июн 2025
~1 мин