Как известно, чат-боты сталкиваются с проблемами при обработке математических запросов из-за того, что при создании ответов они полагаются на статистические методы. Хотя такой подход идеален для создания связных предложений, он оказывается неадекватным при решении математических задач с четкими решениями.
Недавние исследования показывают, что положительное подкрепление контекста может повысить производительность моделей ИИ. Однако новое исследование углубляется в этот феномен, изучая влияние формулировки математических вопросов в контексте сериала Star Trek.
Исследование, проведенное компанией VMware, выявило удивительную корреляцию между оформлением подсказок "позитивным" языком и улучшением производительности в задачах, связанных с математикой. Авторы выражают удивление по поводу значительного влияния, казалось бы, незначительных изменений в подсказках.
Изначально исследование показало неоднозначные результаты: некоторые подсказки давали лучшие ответы, а другие оказывали слабое влияние. Однако при использовании автоматизированного процесса оптимизации подсказок результаты стали более интригующими.
Проводя опыты с различными подсказками и уточняя формулировки на основе показателей эффективности, исследователи обнаружили неожиданную эффективность подсказок с использованием отсылок к "Звездному пути". Например, инициирование ответов фразами типа "Журнал капитана, звездная дата [вставьте дату здесь]:" привело к самой высокой точности для одной из моделей ИИ. Авторы признают, что не уверены в том, какие именно аспекты "Звездного пути" повлияли на работу ИИ.
