Специалисты по Computer Science из Принстонского университета опубликовали исследование, в котором они показали, что использование ИИ часто приводит к ошибкам, которые крайне трудно отыскать. Очень многие работы в самых разных областях науки используют некорректные данные для обучения сетей. Это приводит к ложным предсказаниям. Особенно опасны такие ошибки в медицинских приложениях.
Сегодня методы ИИ и особенно нейросети используются в самых разных областях науки - от исследований генома до регистрации быстрых всплесков в астрономии. Нейросети очень популярны. Они где-то на самой вершине хайпа среди всех научных методов. Ученый, который их не использует, кажется ретроградом, а тот кто активно использует - современным продвинутым специалистом.
Но нейросети были разработаны для решения довольно ограниченного круга задач (в первую очередь задач распознавания образов). Отцы-основатели этого метода были серьезными людьми, и хорошо знали как нейросетями правильно пользоваться.
А когда нейросети стали использовать ученые очень далекие по своей специализации от Computer Science, возникли невоспроизводимые результаты, которые невозможно повторить, и невероятные предсказания, которые попросту ложны.
Об этом написали в своем исследовании ученые из Принстонского университета Саяш Капур и Арвинд Нараянан. В своем комментарии к их работе Nature пишет: ученый химик понимает, что серьезно понять химию, послушав онлайн-семинар, нельзя, но он почему-то уверен, что разобраться в деталях и рисках использования нейросети из подобного семинара - вполне можно. Это по крайней мере странно. Нейросеть не кнопочный калькулятор все-таки.
Чем рискуем
Главный риск при использовании нейросетей в неверной или неполной подготовке данных для обучения. Как пишут Капур и Нараянан не все ученые, использующие нейросети могут отличить корректные данные для обучения, от данных, которые вносят заведомую ошибку.
Один из типов ошибок специалисты называют "утеской данных". В статье приводится следующий пример. В работе экономистов была предпринята попытка предсказать биржевые курсы на конец дня по сообщениям в Twitter. Результат был просто ошеломляющий - точность предсказания превысила 80%. Почему так случилось? Капут и Нараянан это объяснили. Курс на конец дня формируется не мгновенно. Конечно, могут быть скачки, но их как раз около 20%. Остальные курсы формируются более-менее плавно. И вот это плавное формирование курсов отражается в постах Twitter. То есть, когда нейросеть "предсказывает" результат, она его уже "знает", потому что она его получила из обучающих данных. Но нельзя обучать сеть на результатах, которые ты хочешь получить. Тогда ты их точно получишь, но только толку от этого никакого, кроме того, ты опубликуешь статью и все будут восхищены.
Ученые приводят и примеры ошибочной интерпретации результата. Например, нейросеть прекрасно распознает на рисунке корову. А давайте сначала убедимся, что она распознает именно корову, а не луг, на котором стоит корова. Так ведь вполне может случиться, если все картинки, на которых мы обучали сеть, изображают корову, стоящую на лугу.
Главная опасность - это ошибки в медицинских исследованиях. Ученые приводят такой пример. Если мы обучали нейросеть распознавать болезни легких только на группе пожилых пациентов, то ни в коем случае нельзя использовать без дополнительного обучения ту же нейросеть, для распознавания легких молодых людей. Это уже просто опасно, поскольку нейросеть увидит, то чего нет, и даст ложные рекомендации.
Капур и Нараян разработали протокол, который позволяет верифицировать работу нейросети. Ученые надеются, что специалисты из областей далеких от computer science будут придерживаться этого протокола, и хотя бы отчасти будут застрахованы от ложных предсказаний и ошибок.