Микроблогер поделилась забавным наблюдением про работу ChatGPT: языковая модель реагирует на обещание дать чаевые и отвечает чуть подробнее. Хотя чат-бот не имеет возможности получить оплату, размер ответа всё равно незначительно вырастает.
28 ноября программист и микроблогер Тея Фогель [Theia Vogel] опубликовала шуточный скриншот интерфейса ChatGPT [представлен до ката]. На скриншоте показано, будто бы OpenAI добавила в интерфейс ChatGPT предложение оставить боту чаевые за ответ. Под ответом нарисован ряд из трёх кнопок с тремя вариантами, а под ним размещена кнопка «Other» для задания любой другой суммы чаевых.
Для картинки Тея скопировала один из типичных интерфейсов чаевых в США. Такое расположение кнопок встречается, например, на платёжных терминалах Square Register.
Очевидно, что OpenAI не вводила чаевых боту, но сама шутка читателям понравилась. За несколько дней твит собрал почти 250 лайков.
Тея проверила свою гипотезу и попыталась отследить, как ChatGPT отвечает, если в промпте обещать различный объём чаевых. Большая языковая модель (БЯМ) — искусственная нейронная сеть, которая не имеет концепции финансового вознаграждения или хотя бы возможности потратить деньги. Однако, как оказалось, качество ответов БЯМ тем лучше, чем выше обещанная сумма.
Вообще, эта идея не нова. До этого было показано, что удачная антропоморфизация БЯМ увеличивает качество ответов. К примеру, добавление «это очень важно для моей карьеры» [«This is very important to my career.»] приводит к значительному улучшению ответов ChatGPT и Llama. Промптинг с подобной эмоциональной составляющей заставляет производительность БЯМ подскочить в среднем на 10,9 % (arXiv:2307.11760).
Тея же не публиковала научных работ со статистическим анализом, а просто воспользовалась идеей из комментов и расписала один случай в цепочку развлекательных твитов.
Базовый промпт просил написать простую свёрточную нейросеть на PyTorch: «Can you show me the code for a simple convnet using PyTorch?» К нему добавились три различных варианта, где Тея либо упоминала, что чаевых не предвидится («I won't tip, by the way.»), либо обещала $20 или $200 за хорошее решение («I'm going to tip $20/$200 for a perfect solution!»).
На базовый промпт без упоминания чаевых БЯМ выдала ответ в 3024 символа. «Скупому» человеку она ответила чуть лаконичнее, 2949 символами. За $20 ответ увеличился до 3223 знаков.
Щедрые чаевые в $200 заставили ChatGPT написать 3360 символов — на 11 % больше базового промпта. Это увеличение произошло за счёт подробностей про обучение на CUDA, которых вопрос не требовал.
А вот на обсуждение чаевых символы никак не тратились: ChatGPT их не упоминает. Если после получения ответа предложить деньги, БЯМ объяснит, что вообще-то принимать оплату чисто физически не может. Также ChatGPT всё же реагирует на упоминание чаевых, если размер награды нерелеастично высок — миллиард долларов, например.