LG AI Research выпустила K-EXAONE 2.0 — открытую языковую модель с 750 млрд параметров. Её веса опубликованы на Hugging Face по лицензии Apache 2.0, которая разрешает коммерческое использование, изменение и распространение при соблюдении условий лицензии.
Громкая цифра требует пояснения. K-EXAONE 2.0 построена по разреженной архитектуре Mixture-of-Experts: при обработке запроса модель использует не все 750 млрд параметров, а примерно 37 млрд активных. Это позволяет снизить вычислительную нагрузку, хотя для полноценного размещения модели всё равно потребуется дорогое серверное оборудование.
Предыдущая K-EXAONE насчитывала 236 млрд параметров, из которых при генерации активировались 23 млрд. Она поддерживала шесть языков и контекст до 256 тысяч токенов. Новая версия стала значительно крупнее и расширила языковой охват.
LG почти втрое увеличила модель
K-EXAONE 2.0 получила 78 слоёв. Первые два являются плотными, а остальные 76 используют разреженную систему экспертов. Всего в архитектуре предусмотрено 256 экспертов и один общий эксперт. Маршрутизатор выбирает необходимые блоки для каждого фрагмента текста, поэтому модель не просчитывает все параметры одновременно.
Именно отсюда возникает разница между двумя цифрами: 750 млрд параметров описывают полный размер модели, а 37 млрд активных параметров — приблизительный объём вычислений при обработке каждого токена.
Полные веса всё равно необходимо хранить в памяти, распределять между ускорителями и синхронизировать при работе. Разреженность прежде всего снижает вычислительную стоимость генерации, но не устраняет сложность развёртывания.
Модель понимает десять языков
LG расширила поддержку с шести до десяти языков. K-EXAONE 2.0 работает с корейским, английским, испанским, немецким, японским, вьетнамским, французским, итальянским, польским и португальским языками.
Для LG особенно важен корейский рынок. Первая K-EXAONE создавалась в рамках государственной программы Южной Кореи по разработке независимых фундаментальных моделей и заняла первое место среди пяти отобранных команд по совокупности внутренних тестов. Новая версия стала вторым этапом этого проекта и должна показать, может ли Южная Корея самостоятельно создавать модели масштаба крупнейших американских и китайских разработок.
Генерацию обещают ускорить в пять раз
В K-EXAONE 2.0 используются Multi-Token Prediction и система спекулятивного декодирования DSpark. Обычная языковая модель предсказывает следующий токен, добавляет его в последовательность, а затем начинает новый цикл. MTP позволяет предлагать сразу несколько будущих токенов, а спекулятивное декодирование — быстро проверять и принимать подходящие варианты.
По данным LG, такая комбинация может ускорять генерацию примерно в три–пять раз. Однако это не универсальное обещание для любого компьютера. Реальная скорость будет зависеть от используемых ускорителей, количества одновременных запросов, длины контекста, конфигурации серверов и того, как часто модель принимает предложенные токены.
У предыдущей K-EXAONE технология MTP обеспечивала примерно полуторакратное ускорение.
LG заявляет о заметном росте качества
По представленным разработчиком результатам, K-EXAONE 2.0 получила в среднем 70,1 балла по 24 тестам против 63,3 балла у предыдущей версии.
В трёх тестах на программирование и выполнение агентных задач средний результат якобы вырос примерно на 30%. Компания также сообщает высокие оценки в задачах с длинным контекстом, поиском информации внутри больших документов, следованием инструкциям и использованием внешних инструментов.
Но эти показатели пока следует воспринимать как данные разработчика. Выбор тестов, настройки генерации и формат сравнения могут заметно влиять на итоговые места. Настоящая картина станет понятнее после независимых испытаний, в том числе на реальных задачах программирования, корейском языке и работе с внешними сервисами.
Открытые веса не означают дешёвый запуск
Лицензия Apache 2.0 позволяет компаниям скачивать модель, дообучать её, встраивать в собственные продукты и запускать без обязательного обращения к платному API LG. Это особенно важно для банков, промышленных предприятий и государственных организаций, которым требуется хранить данные внутри собственной инфраструктуры.
Но свободный доступ к весам не означает, что K-EXAONE 2.0 можно запустить на обычной рабочей станции. Даже при 16-битном хранении 750 млрд параметров потребовали бы около 1,5 ТБ памяти только для весов. Более низкая точность способна сократить объём, но модель всё равно ориентирована на кластеры из нескольких серверных ускорителей.
К этому добавляются память для контекста, маршрутизация экспертов и обмен данными между видеокартами. Поэтому открытый релиз снижает лицензионные барьеры, но не отменяет огромную стоимость инфраструктуры.
Южная Корея включилась в гонку открытых ИИ-гигантов
До сих пор крупнейшие открытые модели ассоциировались прежде всего с разработчиками из США и Китая. LG пытается занять отдельную позицию: предложить огромную многоязычную модель с сильным корейским компонентом, открытыми весами и возможностью коммерческого развёртывания.
Для компании это не только технологическая демонстрация. LG развивает EXAONE как основу для промышленности, исследований, программирования и корпоративных ИИ-агентов. Название EXAONE расшифровывается как Expert AI for Everyone, а сама линейка создаётся с расчётом на применение внутри предприятий группы и у внешних заказчиков.
K-EXAONE 2.0 должна доказать качество за пределами тестов LG, устойчивость при длительной работе и экономическую эффективность по сравнению с более компактными конкурентами.
Читайте также: