Ученые Самарского университета создали метод определения возраста данных ИИ

Преподаватели и аспиранты Самарского университета имени Королева провели первое в мире экспериментальное исследование проблем возраста информации в больших языковых моделях искусственного интеллекта. По данным Google Scholar, подобные исследования ранее нигде не проводились. Результаты работы опубликованы в журнале "Искусственный интеллект и принятие решений".

Доктор технических наук, профессор кафедры программных систем Андрей Сухов объяснил суть проблемы. Традиционные большие языковые модели не оснащены системами дообучения по большинству областей знаний, поэтому со временем информация, которой владеют эти системы, устаревает. Ответы чат-ботов становятся неточными и теряют актуальность в свете новых событий и технологий.

В ходе исследования ученые выявили закономерность, позволяющую определить момент обучения модели ИИ. Аспирант кафедры киберфотоники Мурад Джериби из Алжира пояснил механизм: "Формат ответов чат-бота на запросы, относящиеся к информации из разных периодов времени, сильно различается". На вопросы о событиях до периода обучения система дает стандартные текстовые ответы, а о более поздних событиях обращается к поисковым системам и выдает списки отрывков со ссылками на сайты.

Для практического применения методики исследователи предлагают составлять вопросы с простыми численными ответами, изменяющимися во времени. Подходящими примерами служат запросы о демографической статистике, количестве браков или других верифицируемых данных за определенные периоды. Когда чат-бот сменит формат ответов и начнет выдавать ссылки, можно определить время обучения модели.

Сухов отметил, что проблема верификации ответов чат-ботов остается острой, поскольку невозможно уверенно утверждать точность получаемой информации. Предложенный алгоритм может использоваться для составления обновленного теста Тьюринга, который уже не справляется с современными системами ИИ, сообщает Самарский университет имени Королева.