Ученые T-Bank AI Research представили методику улучшения языковых моделей на 15%

Ученые из T-Bank AI Research разработали новую методику обучения больших языковых моделей (LLM), основанную на методах Trust Region, что позволяет повысить качество текстов, создаваемых искусственным интеллектом, на 15% по пяти ключевым показателям: точность, связность, стиль, логика рассуждений и информативность.

Современные языковые модели зачастую теряют качество при длительном обучении, и разработанный подход помогает избежать этого, обновляя «настройки по умолчанию» модели на регулярной основе. В ходе проведенных экспериментов с использованием метрик Alpaca Eval 2.0 и Arena Hard был зафиксирован значительный рост качества ответов ИИ с 2.3 до 15.1 процентных пунктов по сравнению с традиционными методами.

Метод Trust Region включает два типа обновлений: мягкое, которое подразумевает небольшие изменения на каждом шаге, и жесткое, при котором модель обновляется целиком. Эти обновления улучшают качество ответов моделей, повышая их способность давать более понятные и безопасные ответы, а также улучшая результаты в задачах, связанных с сокращением длинных текстов и пониманием сложных инструкций пользователей.

Разработанный метод может найти широкое применение в различных сферах, включая создание виртуальных ассистентов и чат-ботов, и отличается простой реализацией и высокой совместимостью с существующими подходами. Внедрение технологии откроет новые горизонты в развитии более эффективных языковых моделей и новой парадигмы в области искусственного интеллекта.

«Наш новый подход позволяет сохранять баланс между способностями модели решать узкие задачи и общим пониманием картины мира, что открывает возможности для создания более гибких и адаптивных моделей», — отметил Борис Шапошников, руководитель научной группы AI Alignment в T-Bank AI Research.

]]>