39 подписчиков
🕵️♂️ Учитывайте исследование «Lost in the Middle» при написании промптов.
Исследование «Lost in the Middle» показало, что современные LLM плохо справляются с использованием длинного контекста на всём его протяжении.
🧪 Эксперимент: модель должна ответить на вопрос по многостраничному тексту; при этом контролируется положение ключевой информации (ответа) в тексте – в начале, в середине или в конце контекста.
💊 Результат: точность модели имеет U-образную зависимость от позиции релевантного фрагмента . Наивысшая точность достигается, когда нужные сведения находятся в самом начале контекста (эффект первичности) или в самом конце (эффект свежести). Если же ответ спрятан в середине длинного (> 4–8 тыс. токенов) документа, качество ответов модели значительно падает.
Это говорит о том, что хотя архитектурно трансформер может смотреть на весь контекст, модель не уделяет одинакового внимания разным частям длинного ввода. Она склонна «забывать» или игнорировать информацию, находящуюся в середине.
🤓 Более подробно о решении этой проблемы можно прочитать в этом исследовании.
Около минуты
8 марта 2025