Статья подготовлена изданием Лаборант - журнал об аналитической химии. Подписывайтесь так же на нашу научную папку в телеграм
Глубокое обучение является вычислительным инструментом, подразделом Искусственного Интеллекта (ИИ), и эти технологии часто описываются как имеющие огромный потенциал для анализа данных и поиска выводов, которые люди могут не заметить. Одна из областей, где эти технологии уже применяются - медицина, и анализ медицинских изображений считается особенно перспективным направлением. Радиологи обучены оценивать рентгеновские снимки и диагностировать переломы или другие проблемы у пациентов, но ИИ может находить важные закономерности после анализа большого количества таких изображений.
Однако эта область все еще находится в зачаточном состоянии, и следует проявлять осторожность. Новое исследование, опубликованное в Scientific Reports, показало, насколько легко ИИ может прийти к нереалистичным и ошибочным выводам. Исследователи показали, что ИИ решил, что рентгеновские снимки могут показать, пил ли человек пиво. В работе отмечается, что ИИ подвержен "обучению по коротким путям" (shortcut learning), которое может давать очень точные, но вводящие в заблуждение результаты.
В этом исследовании ученые использовали модели ИИ для оценки более 25 000 рентгеновских снимков колена. Модели определили нелепые закономерности, которые привели к тому, что они использовали рентгеновские снимки для предсказания того, ел ли человек бобы или пил пиво. ИИ делал это, находя очень тонкие, но точные закономерности, которые не должны были быть выявлены.
"Хотя ИИ имеет потенциал для трансформации медицинской визуализации, мы должны быть осторожны", - отметил старший автор исследования д-р Питер Шиллинг, доцент Дартмутского колледжа. "Эти модели могут видеть закономерности, недоступные человеку, но не все выявленные ими закономерности являются значимыми или надежными. Крайне важно признавать эти риски, чтобы предотвратить ошибочные выводы и обеспечить научную достоверность".
Были изучены алгоритмы, часто используемые в ИИ, и было обнаружено, что они опираются на странные и искажающие переменные, такие как изменения в используемом рентгеновском оборудовании или маркеры клинических учреждений, вместо того чтобы фокусироваться на медицински важных и релевантных частях рентгеновского снимка.
Любые попытки устранить эти искажения оказались малоэффективными, поскольку ИИ просто переключался на выявление других искажающих переменных и находил закономерности с ними.
"Это выходит за рамки предвзятости, связанной с признаками расы или пола", - сказал соавтор исследования Брэндон Хилл, специалист по машинному обучению из Дартмут Хичкок. "Мы обнаружили, что алгоритм мог даже научиться предсказывать год, когда был сделан рентгеновский снимок. Это коварно – когда вы мешаете ему изучать один из этих элементов, он вместо этого начинает изучать другой, который ранее игнорировал. Эта опасность может привести к действительно сомнительным утверждениям, и исследователи должны знать, насколько легко это происходит при использовании данной техники".
Из-за невероятного потенциала для причинения вреда авторы исследования подчеркнули, что медицинские исследования с использованием ИИ должны подвергаться тщательной оценке.
"Когда речь идет об использовании моделей для открытия новых закономерностей в медицине, бремя доказательства значительно возрастает. Часть проблемы заключается в нашей собственной предвзятости. Очень легко попасть в ловушку предположения, что модель 'видит' так же, как мы. В конечном счете, это не так", - объяснил Хилл.
"ИИ почти как общение с инопланетным разумом. Хочется сказать, что модель жульничает, но это антропоморфизирует технологию. Она нашла способ решить поставленную задачу, но не обязательно так, как это сделал бы человек. У нее нет логики или рассуждений в том виде, как мы их обычно понимаем".
Источники:
Статья подготовлена изданием Лаборант - журнал об аналитической химии. Подписывайтесь так же на нашу научную папку в телеграм