Меня пригласили принять участие в дискуссии об искусственном интеллекте и защите данных на XIV международном конгрессе «Оргздрав-2026» — это форум для руководителей из сферы здравоохранения, главных врачей и их заместителей, заведующих отделениями, поликлиниками, для ректоров, проректоров, заведующих кафедрами и преподавателей медицинских вузов, руководителей и сотрудников Минздрава, разработчиков программных продуктов для медицины и других специалистов. Как это часто происходит на пике хайпа, основное внимание было отдано теме ИИ, главной темой конгресса была заявлена такая тема как «Здравоохранение и ИИ: грани сотрудничества». И вот ведущие специалисты из области медицины и, конечно, из информационных технологий, но в меньшей степени, говорили о том, где проходит эта граница. Ниже основные моменты моего короткого выступления.
Как на самом деле работает ИИ
Многие, в том числе, и в медицине полагают, что ИИ — это некий аналог человеческого мозга. Но это не так — ИИ устроен совершенно иначе. Собирается огромная база данных — миллиарды записей. Дальше по частоте встречаемости слов создаются связи. Когда мы задаем вопрос, ИИ-модель просто по частоте встречаемости генерирует некий набор слов, набор ответов. Она не думает — ей нечем думать, потому что это база данных, а не мозг.
Если спросить генеративную модель о том, сколько будет «дважды два», то она, скорее всего, ответит «четыре» — потому что во всех источниках так написано. А вот картинку человека она может нарисовать неверно — например, с шестью пальцами. Вы не задумывались, почему так происходит? Потому, что никто никогда не пишет: «человек поднял руку с пятью пальцами». У нас от природы пять пальцев и нам не нужно эту прагматику проговаривать, — а ИИ-модели недостает этих данных. То есть, там, где частота встречаемости низкая, модель, выдавая нам ответы, начинает галлюцинировать. То есть, выдавать ответы с ошибками, большими и очень большими неточностями. Но очень уверенно. Уверенность при ответах – одно из ее свойств, даже если ответы в корне неверны.
Как ИИ вводит людей в заблуждение
Если в случае с некорректным количеством пальцев на руке человека мы можем понять, что ИИ-модель ошиблась, то в более сложных случаях, к сожалению, легко получить дезинформацию. И от этого чаще страдают далекие от технологий люди, которые имеют обыкновение относиться к ИИ-моделям с излишним пиететом из-за способности тех складно оперировать словами.
Как я отметила выше, усугубляет ситуацию тот факт, что у технологии есть такое любопытное свойство: она умеет сама себя объяснять. В нее встроены механизмы, которые позволяют ей говорить убедительные фразы. Знаний у нее нет, а убедительные фразы — есть. С их помощью технология создает иллюзию обоснования своих ответов. И люди начинают в это верить. Зачастую, даже больше, чем в свои собственные ответы, чем в ту информацию, которая есть у них в голове.
Таким образом у пользователя нейросети возникает и привычка, и излишнее доверие к генеративному искусственному интеллекту. Сначала человек воодушевляется складным ответом, потом начинает верить безоговорочно, а затем возводит ИИ-ответы в абсолют и перестает верить себе. Люди теряют критическое мышление.
Проблема потери критического мышления и базовых навыков уже отчетливо проявлена в сфере образования, где ИИ используется сплошь и рядом. Дети и студенты загружают в модель вопрос преподавателя и переписывают полученный ответ, не думая. Преподавателю лень читать — он тоже загружает работу в ИИ на проверку. В итоге мы можем получить поколение необразованных людей, которые вообще ничего не понимают, а могут только за каждым вопросом или решением идти к ИИ.
Допустить подобное в медицине нельзя
Теперь представьте, к чему приведет огульное и нерегулируемое распространение генеративного ИИ в медицине. Врачи все больше начинают полагаться на ИИ – например, при диагностике заболеваний и постепенно теряют критическое мышление, все больше и больше доверяют ИИ, тогда как ИИ-модель галлюцинирует и может выдать неправильный диагноз или план лечения. Разве можно доверить такой технологии человеческую жизнь и здоровье?
Я согласна с тем, что ИИ-модели можно, например, применять в финансовой сфере для подсказки. В крайнем случае — можно потерять деньги, если подсказка окажется неверной. Неприятно, но не катастрофа. А вот если модель будет подсказывать врачу, причем, с ошибками — пошли бы вы к такому специалисту на прием, понимая, как работает ИИ-модель? Я – точно нет.
Про утечки данных
Помимо обсуждения вопросов доверия к ИИ, нам, спикерам круглого стола «Взгляд лидеров ИТ-отрасли на цифровую трансформацию медицины: как наладить диалог в новую эпоху?» удалось поговорить и о другой актуальное проблеме — о создании и работе Федерального регистра лиц с отдельными заболеваниями. Считаю это большой ошибкой и вот почему.
Я очень не люблю всякого рода единые регистры, особенно содержащие необезличенные данные. И дело даже не столько в возможной утечке такой базы — утечки происходят постоянно. Вопрос в использовании этих данных. Раньше был единый реестр граждан: ФИО, год рождения и все. Теперь к этому добавляются Госуслуги, а затем — реестр с данными по заболеваниям и медицинским состояниям. Чем больше создается подобных реестров, тем больше рисков информационной безопасности наше общество получает. И тем выше риски, что наши данные попадут в чужие руки и могут быть использованы совсем не в благих целях, а напротив – во вред.