✔️ Маленькие LLM вместе могут конкурировать с гигантскими моделями, если заставить их спорить правильно
Вместо одной огромной модели используется группа более простых моделей, которые критикуют друг друга и по кругу улучшают общий ответ.
Идея из исследования *Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation*.
В чём суть
Систему строят не как один “мозг”, а как команду моделей:
1. Несколько разных LLM дают первоначальные ответы
2. Они читают ответы друг друга
3. Критикуют, дорабатывают и предлагают улучшения
4. Лучшие идеи проходят дальше
5. Процесс идёт раундами, пока качество растёт
Это называется N-Way Self-Evaluating Deliberation — многостороннее самооценивание с повторным обсуждением.
Почему это работает
- Плохие ранние ответы можно исправить на следующих раундах
- Ошибки одной модели подхватываются другими
- Идеи не “залипают” в первой версии
Чтобы ни одна модель не доминировала:
- используется анонимная оценка
- применяется квадратичное голосование, чтобы лучшая идея побеждала честно
Роль брокера
Специальный “брокер” выбирает, какие модели лучше подходят под конкретную задачу, а дальше они работают как команда, перепроверяя друг друга.
Главный вывод
Исследователи показывают, что consumer-модели могут конкурировать с сильнейшими LLM, если:
- есть структурированная система раундов
- есть механизм критики
- есть правила отбора лучших ответов
Система меняет вычисления на “память”:
вместо огромной модели используется больше раундов текстовой обратной связи.
Чуть больше времени — но гораздо дешевле железо.
Что это означает на практике
Можно временно собрать “сильную” модель из набора разных LLM:
- без дообучения
- без гигантских GPU
- просто через правильную организацию взаимодействия
Это способ усилить интеллект системы за счёт структуры, а не размера.
Статья: arxiv.org/abs/2601.16863
