ИИ проникает в операционные. Результаты, как и следовало ожидать, неутешительны. Отчет Reuters выявляет риски внедрения ИИ в медицине, включая ошибки при операциях и неверную диагностику. — gizmodo.com
Любимый многими кошмар, связанный с искусственным интеллектом, заключается в том, что он обретет сознание и начнет убивать людей. Оказывается, для того чтобы ИИ начал уносить человеческие жизни, не обязательно достигать сверхразума; достаточно того, чтобы люди проявляли чрезмерное доверие и уступчивость к несовершенным системам. Новый отчет Reuters освещает распространение ИИ в здравоохранении, от медицинских устройств с функциями ИИ до систем, предназначенных для помощи врачам в операционной, и приходит к выводу, что технология, представленная как крупный шаг вперед, может приводить к худшим результатам.
Центральное место в отчете Reuters занимает система навигации TruDi, система навигации с визуальным сопровождением, разработанная дочерней компанией Johnson & Johnson и предназначенная для лечения хронического синусита. В 2021 году компания объявила, что будет использовать ИИ для помощи специалистам по уху, носу и горлу в операциях по устранению воспаления пазух.
До внедрения ИИ устройство находилось на рынке три года и имело семь неподтвержденных сообщений о неисправностях. С момента внедрения ИИ в систему Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) получило более 100 уведомлений о неисправностях и по меньшей мере 10 сообщений о травмах пациентов в результате ошибок, которые, по-видимому, были вызваны неверной информацией от системы ИИ.
Некоторые из этих травм были невероятно серьезными и, по-видимому, были в первую очередь вызваны тем, что система предоставляла хирургам неверную информацию о местонахождении их инструментов внутри пациента во время операции. Это, как сообщается, привело к случаям прокола основания черепа пациента, утечки цереброспинальной жидкости из носа пациента и инсультам у пациентов после того, как хирург случайно повредил крупную артерию.
Поскольку инциденты все еще находятся на рассмотрении, FDA не приписало травмы ИИ. Но жертвы, безусловно, считают, что он мог сыграть свою роль. Согласно Reuters, два человека, перенесшие инсульт в результате операции с использованием системы навигации TruDi, подали в суд и утверждают, что «продукт, возможно, был безопаснее до интеграции изменений в программное обеспечение для включения искусственного интеллекта, чем после внедрения модификаций программного обеспечения».
Хотя система навигации TruDi является ярким примером потенциальных рисков, связанных с использованием ИИ в таких условиях, как операционная, это далеко не единственное устройство, интегрирующее ИИ в свою работу. По данным Reuters, FDA одобрило 1357 медицинских устройств с использованием ИИ. Немногие из них не вызывают беспокойства. Исследование, опубликованное в JAMA Health Forum ранее в этом году, показало, что медицинские устройства с поддержкой ИИ имеют шокирующе высокий процент отзывов: 43% имели проблемы, настолько серьезные, что их пришлось снять с рынка менее чем через год после первоначального одобрения — примерно в два раза выше, чем у устройств без ИИ.
Примечательно, что исследование выявило, что многие из этих устройств были произведены публичными компаниями. Эти компании, как и Johnson & Johnson, могли попасть в ловушку быстрого вывода продукта на рынок без достаточного тестирования безопасности. Такова претензия одного из судебных исков, связанных с системой навигации TruDi, в котором утверждается, что функции ИИ были продвинуты как «маркетинговый инструмент» и на самом деле не улучшили точность. Фактически, в иске утверждается, что производитель устройства снизил стандарт безопасности до «80% точности», чтобы быстрее вывести новую технологию на рынок.
Даже когда устройства с ИИ не участвуют в операциях, которые могут напрямую привести к неблагоприятным последствиям для здоровья, они все равно могут предоставлять неверную информацию. Например, Sonio Detect, система ИИ для анализа изображений плода, предположительно неправильно маркирует структуры плода и «ассоциирует их с неправильными частями тела», согласно отчету FDA. Это соответствует сообщениям прошлого года, которые обнаружили, что медицинский ИИ Google «галлюцинировал» части тела.
Компании, ответственные за эту технологию, похоже, не видят проблемы. Integra LifeSciences, компания, приобретшая систему навигации TruDi у Johnson & Johnson в 2024 году, заявила Reuters, что отчеты FDA «не более чем указывают на то, что система TruDi использовалась во время операции, в ходе которой произошло неблагоприятное событие», и утверждала, что «нет никаких достоверных доказательств, показывающих какую-либо причинно-следственную связь между системой навигации TruDi, технологией ИИ и любыми предполагаемыми травмами».
Также нельзя особо рассчитывать на то, что FDA примет меры в отношении этих предполагаемых проблем. Часть агентства, отвечающая за рассмотрение и оценку безопасности медицинских устройств с поддержкой ИИ, была серьезно подорвана сокращениями со стороны Департамента эффективности государственного управления (DOGE), потеряв 15 из 40 своих ученых, по данным Reuters. Другое подразделение, занимающееся ИИ в медицине, потеряло треть своего персонала. Примечательно, что DOGE под руководством Илона Маска также сократило часть FDA, которая отвечала за рассмотрение безопасности его устройства для интерфейса мозг-компьютер Neuralink. Тем временем, похоже, больше устройств с ИИ получают зеленый свет без тщательной проверки.
Возможно, подход техников «двигайся быстро и ломай вещи» не должен применяться, когда «вещи» — это человеческое тело.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger