Повторение промпта улучшает ответы нерассуждающих LLM, выяснили в Google. Если вместо <Запрос> отправлять <Запрос><Запрос>, в некоторых тестах результаты увеличиваются почти на 10%. Этот метод работает еще лучше, если повторить запрос три раза или добавить фразу «Давай я повторю:».
По мнению исследователей, это связано с механизмом внимания трансформера. При повторном чтении запроса нейросеть уже знает контекст, и каждый токен второй части может взаимодействовать с токенами первой.
Таким образом, этот подход неэффективен для рассуждающих моделей — они сами начинают повторять запрос в процессе размышлений, чтобы лучше понять задачу.
#Google #нейросети #LLM #промпты #исследования #трансформеры #механизмвнимания #искусственныйинтеллект #технологии #обработкаязыка
