Ученые обнаружили простой способ повысить точность ответов систем с искусственным интеллектом
Речь идет о двойном повторении запроса. В исследовании участвовали специалисты из корпорации Google. Они провели масштабное тестирование наиболее популярных систем с ИИ, которые работают на основе больших языковых моделей. В том числе GPT, Gemini, Claude, Deepseek и других.
Проверка осуществили на сложных наборах задач — от математики и научных вопросов до логических головоломок.
Оказалось, что во всех случаях, когда модель работала в режиме прямого ответа (без цепочек рассуждений), повторение запроса давало лучший результат.
«Запрос формы типа “<КОНТЕКСТ> <ВОПРОС>” часто выполняется иначе, чем запрос формы “<ВОПРОС> <КОНТЕКСТ>”. Мы предлагаем повторить запрос, то есть преобразовать вводную часть из «<ЗАПРОС>» в «<ЗАПРОС><ЗАПРОС>», — сообщили авторы в научной публикации, посвященной исследованию.
На следующем этапе ученые проверили двойное повторение в сочетании с различными хитростями. Например, использовали более подробное повторение запроса (где немного меняется формулировка) и повторение запроса три раза (вместо двух).
Эксперименты показали, что в большинстве случаев все эти способы работают примерно одинаково хорошо. Но есть особые задачи, где тройное повторение намного эффективнее.
В целом, отметили исследователи, результаты работы показали, что повторение запроса повысило точность в 47 из 70 тестовых комбинаций без единого случая ухудшения. При этом не увеличилось ни время ответа, ни длина сгенерированного текста.
Фундаментальная ценность открытия в том, что ученые пролили свет на внутреннюю «механику» внимания в трансформерах (нейросетевых архитектурах, на которых построены большие языковые модели).
Они выяснили, что повтор запроса позволяет каждому токену (слову или смысловой части) запроса «увидеть» все остальные токены, создавая более полный контекст для генерации ответа.
С моей точки зрения, главный вывод, который можно сделать, заключается в том, что в запросах для систем искусственного интеллекта важно не только содержание (то есть дотошное описание результата), но и форма. Лично протестировал новый подход — все работает!
Ссылка на научную статью — в первом комментарии к статье.