Компания ограничила функционал AI Overviews, после публикации расследования The Guardian. Журналисты обнаружили, что поисковой сервис давал пользователям неточные и потенциально опасные медицинские рекомендации.
Еще больше статей на сайте Marus
По данным издания, проблема заключалась в некорректной интерпретации результатов анализов. Например, на запрос о нормальных показателях функции печени ИИ предоставлял усредненные цифры, не учитывая возраст, пол или этническую принадлежность пациента. Это могло привести к неправильным выводам пользователей о состоянии их здоровья.
После публикации материала Google оперативно удалила спорные ИИ-обзоры, хотя некоторые вариации запросов по-прежнему показывают ответы нейросети в поисковой выдаче. Представитель компании заявил, что внутренняя группа врачей проанализировала запросы и во многих случаях не нашла неточностей. По его словам, выдаваемые в обзоре сведения были основаны на информации тематических медицинских сайтов.
Проблемы Google с медицинскими рекомендациями оказались не единичным случаем. Согласно исследованию Стэнфордского и Гарвардского университетов, ИИ-модели дают потенциально опасные медицинские рекомендации в 11,8–14,6% случаев, а самые несовершенные из них ошибаются более чем в 40% случаев.
Для этого ученые протестировали 31 большую языковую модель, включая системы от Google, OpenAI, Anthropic и Meta, на 100 реальных клинических случаях из 10 медицинских специальностей. При этом те же самые ИИ-модели активно используют в практике врачи. По данным различных опросов, доля активных пользователей среди врачей США и Великобритании варьирует от 66 до 86%.
Еще осенью 2025 года OpenAI пересмотрела политику использования ChatGPT и добавила в список запрещенных сценариев медицинские услуги. Чат-боту теперь нельзя интерпретировать результаты анализов, ставить диагнозы по фотографиям, назначать лечение. ChatGPT перестал отвечать на медицинские вопросы и вместо этого рекомендует обратиться к врачу. Нейросеть понимает контекст, поэтому обойти ограничение, меняя формулировку запроса, невозможно.
Параллельно с ограничениями для потребительских ИИ-продуктов ведется работа по структурированию использования искусственного интеллекта в профессиональной медицинской практике. В России, например, в декабре 2024 года Минздрав России утвердил Кодекс этики применения искусственного интеллекта в сфере охраны здоровья. Документ регулирует этические аспекты разработки, внедрения и использования технологий ИИ в здравоохранении.
Это актуально в связи с расширением использования ИИ-продуктов российскими врачами. Объем инвестиций в развитие таких сервисов составил 4,7 млрд рублей в 2018-2024 годах, а в среднем каждый российский регион сегодня использует 4-5 ИИ-сервисов – в основном, для анализа медицинских изображений, а также для поддержки принятия врачебных решений. По планам Минздрава РФ, к 2030 году каждый регион будет применять не менее 12 решений для анализа медицинских данных.
Источник: TechCrunch
Вся информация в этой статье предоставлена исключительно в ознакомительных целях и не является медицинской консультацией. Все медицинские процедуры требуют предварительной консультации с лицензированным врачом. Результаты лечения могут различаться в зависимости от индивидуальных особенностей пациента. Мы не гарантируем каких-либо конкретных результатов. Всегда консультируйтесь с врачом перед принятием любых решений, касающихся вашего здоровья.