13 февраля IT House сообщил, что сегодня компания Ant Group Bailing Model выпустила и открыла исходный код первой модели гибридной линейной архитектуры с триллионом параметров мышления — Ring-2.5-1T.
Согласно сообщениям, в качестве ключевого шага на пути к эпохе агентов общего назначения команда значительно расширила гибридную архитектуру линейного внимания как в предварительном обучении, так и в обучении с подкреплением. С одной стороны, он использует эффективную архитектуру MLA + Lightning Linear Attention 1:7 для повышения эффективности мышления модели и исследования пространства. С другой стороны, это улучшает глубину мышления модели и возможности долгосрочного исполнения за счет расширения масштаба обучения с подкреплением и среды агента.
Подписывайтесь на t.me/chinese_ai_news и dzen.ru/chinese_ai
