Эксперименты проводились на моделях LLaMa и Mistral с англоязычными текстами
Исследователи из Университета Иннополис придумали, как ускорить обучение больших языковых моделей в 1,5–2 раза. Впервые для этого они использовали данные о том, как человек визуально воспринимает и читает текст, сообщили «Первому техническому» в пресс-службе вуза.
Современные методы согласования ИИ с предпочтениями людей (RLHF) работают медленно и требуют огромных вычислительных мощностей. Проблема в том, что модель наград оценивает весь сгенерированный текст одной общей оценкой, не указывая, что именно в нём хорошо или плохо. Учёные из Иннополиса предложили смотреть на текст глазами человека.
Данные взгляда собирают с помощью айтрекера — устройства, закреплённого на мониторе. Оно отслеживает, на какие части текста человек обращает внимание, в какой последовательности и как долго задерживает взгляд. Учёные провели эксперименты с англоязычными текстами и моделями LLaMa и Mistral, протестировав два подхода. Оба дали ускорение обучения в 1,5–2 раза без потери качества.
Исследование доказывает, что человеческий взгляд — значимый и ранее недооценённый сигнал в обучении ИИ-моделей. Использование данных взгляда позволяет создавать более эффективные и экономичные методы согласования языковых моделей. Это не просто ускоряет процесс, а делает его целенаправленнее, подобно тому, как учитель вместо "двойки" за работу указывает ученику на конкретные фразы, требующие доработки. Кроме того, наша работа показала, что данные взгляда человека могут быть заменены синтетическими, чтобы решить главные проблемы подобных исследований — острую нехватку информации о взгляде и сложность с получением новых данных.
— Илья Першин, руководитель Лаборатории искусственного интеллекта в медицине Университета Иннополис
В будущем учёные планируют проверить метод на офлайн-алгоритмах и расширить исследования на другие языки.