Стало модно говорить про новый навык — умение составлять хорошо работающие запросы к генеративным нейросетям; это занятие получило красивое имя prompt engineering, а быстро расплодившиеся обучающие курсы и просто услуги в этой области отлично продаются.

Но это же тоже работа со словом, почему бы не использовать и здесь языковые модели? Ответ исследователей из Microsoft в том и состоит: промпты часто несовершенны, люди вынуждены их улучшать методом проб и ошибок, на каждом шаге впустую расходуя ресурсы нейросети и свое время. Давайте лучше организуем Automatic Prompt Optimisation (APO) для этой цели. Попутно удалось показать, что в ходе APO нейросеть способна опознать даже утонченные попытки обойти встроенные ограничения и получить нежелательные с точки зрения разработчиков ответы — и заблокировать такие запросы.

Можно ожидать, что скоро такой ненаблюдаемый для пользователей защитный препроцессинг промптов окажется встроен в наиболее массовые продукты и поможет хотя бы частично снизить опасения насчет их использования в недобрых целях.

Около минуты

15 мая 2023