На фоне растущего интереса к нейросетям, проникающим в диагностику, промышленность и автоматизированную аналитику, учёные из Массачусетского технологического института предупредили об опасной уязвимости в визуально-языковых системах ИИ. Эти модели, связывающие изображение с текстом, не умеют корректно интерпретировать отрицательные конструкции, что может привести к критическим ошибкам.
Суть проблемы раскрыта в исследовании, где специалисты протестировали поведение ИИ при работе с фразами, содержащими отрицания. Примеры из медицины продемонстрировали потенциальный ущерб. Система, анализирующая рентгеновский снимок, может проигнорировать уточнение «отёк тканей без увеличения сердца» и подобрать некорректные аналоги. Это способно привести к искажениям при принятии решений, где важна точность до нюанса.
Исследователи установили, что визуально-языковые модели в процессе обучения практически не сталкиваются с отрицаниями. Подписи к изображениям в обучающих базах фиксируют лишь присутствующие объекты.
Если в кадре собака, она просто «прыгает через забор», а отсутствие чего-либо почти никогда не упоминается. Это создаёт искажение восприятия, при котором слова вроде «не» или «без» теряют смысл — ИИ попросту их игнорирует.
Команда провела два эксперимента. В первом они искусственно дополнили описания изображений отсутствующими элементами, затем просили ИИ выбрать подходящее изображение. Во втором сравнивали понимание фраз, различающихся лишь по наличию отрицания — «на фото есть кошка» и «на фото нет кошки». Поведение моделей оказалось нестабильным — точность резко снижалась, порой до уровня случайного выбора. Некоторые модели вообще не справлялись.
Чтобы изменить ситуацию, команда подготовила новую обучающую выборку — 10 млн пар изображений с текстами, где акцент сделан на объектах, которых нет. Повторное обучение дало ощутимый результат. Поиск изображений стал точнее на 10%, а понимание заданий с выбором ответа улучшилось на 30%.
При этом специалисты из MIT подчёркивают, что это лишь первый шаг. Архитектура нейросетей не была изменена — речь идёт лишь об обогащении учебных данных. При этом сама возможность преодоления проблемы уже обозначена. Учёные надеются, что эта работа заставит разработчиков и тех, кто внедряет ИИ в критически важные процессы, внимательнее проверять систему перед применением.
Ещё по теме: