Самарские исследователи придумали, как в эпоху искусственного интеллекта отличать в Интернете ботов от людей
Преподаватели и аспиранты Самарского университета им. Королева первыми в мире (по данным Google Scholar) провели экспериментальное исследование, посвященное проблемам возраста информации, которой оперируют популярные системы искусственного интеллекта (ИИ) - так называемые большие языковые модели (БЯМ). Эти системы ИИ традиционно используются для разнообразных операций с текстами, таких как написание, литературная обработка, исправление ошибок, перевод и так далее.
В ходе экспериментов исследователи определили, с помощью какого типа вопросов можно практически точно понять, с кем именно вы общаетесь в Интернете - с человеком или искусственным интеллектом. Это может помочь усовершенствовать классический тест Тьюринга, уже не справляющийся с современными системами ИИ. Результаты исследования опубликованы в авторитетном российском научном журнале "Искусственный интеллект и принятие решений".
"Наша работа, по данным Google Scholar, является первой, причем это доклад на конференции, который прошел рецензирование, в отличие от препринтов конкурентов, которые и опубликованы позже. Работы также легко отличить по используемой терминологии. Дело в том, что традиционные БЯМ, к сожалению, не оснащены системами дообучения по большинству тем и областей человеческих знаний, поэтому со временем информация, которой владеют эти языковые модели, устаревает, ответы их чат-ботов становятся неточными и теряют актуальность в свете новых событий, новостей, появления новых технологий и так далее", - рассказал Андрей Сухов, доктор технических наук, профессор кафедры программных систем Самарского университета им. Королёва.
Как отметил ученый, проблема верификации ответов, получаемых от чат-ботов БЯМ, остается сейчас по-прежнему достаточно острой. Пока что невозможно уверенно утверждать, является ли полученный от чат-бота ответ точным и основанным на реальных фактах, или же чат-бот использовал непроверенные факты и домыслы, размещенные в глобальной сети. Однако в ходе изучения проблем возраста информации самарские исследователи выявили закономерность, с помощью которой в Интернете легко можно выводить на чистую воду ботов, маскирующихся под человека.
Согласно результатам исследования, чтобы определить время обучения модели и возраст информации, на которой она обучалась, необходимо просто составить и задать список вопросов, которые предполагают простой численный ответ, имеющий различные числовые значения в разные периоды времени. При этом нужно, чтобы ответы на эти вопросы можно было легко проверить с помощью поисковых систем в Интернете. В качестве такого контрольного запроса можно, например, спросить чат-бота о численности населения или о количестве браков и разводов за определенные периоды времени в какой-нибудь стране, где подобная статистика общедоступна на сайтах соответствующих ведомств. Как только чат-бот сменит формат ответов и начнет выдавать отрывки статистических данных со ссылками на сайты, можно будет понять, когда модель этого чат-бота проходила обучение.