МОСКВА, 10 ноября. /ТАСС/. Российские исследователи разработали новый подход для обучения больших языковых моделей, который позволяет развивать у них способность к логическим рассуждениям без использования традиционных дорогостоящих методик. Также ученым удалось раскрыть механизм, за счет которого ИИ-модели осваивают данное умение, сообщила пресс-служба Т-Банка.
"Наш метод показывает, что обучать модели рассуждать можно без изменения миллионов параметров. Это открывает новый этап в развитии доступного искусственного интеллекта для бизнеса", - пояснил исследователь Лаборатории исследований искусственного интеллекта T-Bank AI Research Вячеслав Синий, чьи слова приводит пресс-служба банка.
Как отмечают исследователи, за последние годы ученые создали несколько десятков больших языковых моделей, способных вести логические рассуждения. Как правило, для улучшения этой способности используются методы обучения с подкреплением, для работы которых ученые корректируют "мозг" модели - миллиарды ее параметров, что требует использования большого количества памяти и расхода значительных финансовых и технических ресурсов.
Синий предложил более дешевую и удобную альтернативу: вместо переписывания "мозга" большой языковой модели они добавляют векторы-настройки - компактные подсказки, которые усиливают правильные логические шаги предобученной модели. Векторы действуют как регуляторы громкости: модель уже умеет рассуждать, а векторы позволяют сделать "громче" правильные логические шаги.
Работу этого подхода исследователи успешно проверили на нескольких вариантах больших языковых моделей из семейств Qwen2.5 и LLaMa3, способных рассуждать на общие и математические темы. Проведенные учеными проверки при помощи шести популярных тестов для ИИ на математические рассуждения показали, что новый подход позволил сохранить качество работы систем и при этом резко снизил расходы на улучшение их способностей.
В частности, ученым удалось сократить набор изменяемых параметров с нескольких миллионов до нескольких сотен тысяч, на несколько порядков ускорить некоторые этапы обучения и уменьшить расход памяти с гигабайтов до сотен килобайт. Также исследователи обнаружили, что их подход можно использовать как прозрачный инструмент для изучения того, как именно ИИ рассуждает, что позволит более осознанно улучшать их логические способности в будущем.