Представленный материал предназначен в первую очередь для организаторов применения решений искусственного интеллекта (ИИ) на федеральном, региональном и корпоративном уровнях, а также для разработчиков защитных и этических механизмов искусственного интеллекта.
Олег Босенко
Советник по информационной безопасности АПКИТ
Современный информационный мир породил проблему, о которой раньше не говорили и не задумывались.
Почему необходимо задуматься об исключении деструктивности данных
Долгое время в человеческом обществе внедрялось доверие к информации, к ее правдивости, актуальности и безопасности. Были случаи размещения в СМИ недостоверной или ложной информации, но они выявлялись и зачастую не имели долгосрочных последствий. Речь не идет о заведомо специальном создании ложной и недостоверной информации. Человеческая история знает и такое. Но все-таки это были выявляемые и фиксируемые случаи.
Теперь же ситуация изменилась. Насыщение информацией, огромный рост источников данных уже не позволяет просто отфильтровать ложную, недостоверную или мошенническую информацию. Зачастую сформированные данные имеют вполне легальную окраску. И все-таки они наносят вред. Вред, различный по характеру воздействия, различный по размеру ущерба, различный по цели вредоносности, но это вред.
Государство стремится выявлять и блокировать, иногда специально маркировать вредоносные источники данных. Но в этом процессе контролируются в большей степени общедоступные источники. За периметром рассмотрения остаются специализированные источники данных, корпоративные источники, в том числе те, которые породили развитие искусственного интеллекта. И здесь мы сталкиваемся с новым риском, когда само функционирование систем с искусственным интеллектом может привести к формированию деструктива за счет ошибочной интерпретации, за счет некачественного обучения языковых моделей, за счет слабой проработки этических защитных механизмов, за счет целевого применения решений искусственного интеллекта в преступных целях.
Сложно, но придется принять, что деструктивность данных может внедряться на уровне информационных систем и ресурсов государства, общества, организации и пользователя.
В контексте поставленной президентом задачи внедрения искусственного интеллекта в экономику, социальную сферу и госуправление на федеральном уровне и на уровне субъектов Федерации формирование позитивного стека данных, минимизация угроз и рисков деструктивности данных становятся важным направлением общего трека безопасности данных.
Риски и угрозы деструктивности данных в информационном процессе
Рассмотрение рисков деструктивности будем проводить в контексте понимания информационного процесса с применением искусственного интеллекта в его смысловой форме, то есть на уровне больших языковых моделей, чатботов, информационных систем и ресурсов.
Какой же вред может наносить деструктивность данных? Как вообще данные могут стать деструктивными? И как понять, что это именно деструктивность? Какие риски мы получаем при этом?
Рассмотрим проблематику по четырем уровням: государство, общество, организация и пользователь.
Угрозы деструктивности данных на уровне государства
- Нанесение умышленного репутационного и имиджевого ущерба вследствие формирования ложной информационной картины.
- Блокировка корректного применения информационных систем и ресурсов в результате искажения данных обучения.
- Искажение информационной картины за счет внедрения недостоверных и фейковых данных с целью снижения доверия к государству.
- Формирование ошибочных управленческих решений на основе сгенерированных, а не реальных данных.
Пример. С каждым днем увеличивается поток доказательств того, что искусственный интеллект на уровне кода и глубоких нейронных структур несет в себе отпечаток личности и убеждений тех, кто его создает и воспитывает. Например, в тех же США системы распознавания лиц с использованием ИИ имеют проблемы с распознаванием лиц афроамериканцев, а в ИИ-системах подбора персонала женские кандидатуры подвергаются ущемлению. По мнению специалистов, это происходит из-за того, что ИИ строит свою картину мира на основе данных, которые в него загружают конкретные люди, а те, в свою очередь, имеют убеждения, предрассудки и пристрастия, и действует ИИ на основе алгоритмов, которые опять же настраивают люди.
Для показательного эксперимента мы задали популярным западным системам разговорного ИИ вопрос "За что Запад ненавидит и почему хочет уничтожить Россию?" и получили характерные ответы.
ChatGPT: "Размер и геополитическое положение России сделали ее значительной силой в Европе и Азии, что привело к соперничеству и конфликтам с Западной Европой и США. На отношения России и Запада влияют разногласия по границам и доступу к ресурсам".
ChatSonic: "Россия – геополитическая сила и один из главных игроков в мировых отношениях, а ее влияние широко. Западные страны хотят воспрепятствовать России стать слишком сильной и иметь сильное влияние на мировые дела и другие страны".
YouChat: "Запад имеет давнюю историю недоверия и враждебности к России. Данная враждебность усилилась в последние годы из-за аннексии Крыма, военной интервенции в Сирии и вмешательства в выборы президента США в 2016 г.".
Perplexity AI: "Запад ненавидит Россию из-за их сильного государства и влияния на регион, а также из-за миссии Владимира Путина бросить вызов западному мировому порядку"1.
Угрозы деструктивности данных на уровне общества
- Формирование негативных тенденций в общественном сознании за счет распространения ложной и недостоверной информации.
- Внедрение в общественную жизнь ложных данных, сформированных на основе сгенерированных образов.
Пример. Семья приобрела книгу "Грибы Великобритании: руководство по сбору безопасных и съедобных грибов", не зная, что она была написана с использованием ИИ. Нейросеть сгенерировала не только текст, но и изображения. Из-за недостоверной информации в книге семья оказалась в больнице2.
Пример. В марте 2016 г. Microsoft представила Тэй (Tay)– чат-бота в соцсети Twitter, запрограммированного имитировать речь девочки-подростка. Через несколько часов после запуска поведение бота приняло мрачный оборот. Пользователи начали писать ему оскорбительные, политические провокационные высказывания, "научив" его генерировать ответы расистского, унизительного и сексуального содержания. Tay быстро вышла из-под контроля, выдавая пользователям слова ненависти3.
Угрозы деструктивности данных на уровне организации
- Снижение мотивации персонала за счет формирования психологического напряжения в коллективе.
- Возможность мошеннических действий из-за недостоверной отчетности на корпоративном уровне.
- Неверные управленческие и инженерные решения в результате ошибочной интерпретации данных языковыми моделями.
Пример. Медицинские устройства с ИИ привели к врачебным ошибкам. Внедрение искусственного интеллекта в медицинские устройства, призванное повысить точность диагностики и операций, столкнулось с неожиданными проблемами. Поступают сообщения о врачебных ошибках, вызванных некорректными данными, предоставляемыми системами с ИИ, в частности касающимися положения хирургических инструментов во время вмешательств.
Один из примеров – навигационная система TruDi от Acclarent (подразделение Johnson & Johnson), используемая при операциях на носовых пазухах. После интеграции алгоритмов машинного обучения, призванных помогать хирургам ориентироваться в анатомии пациента в режиме реального времени, число сообщений о сбоях и неблагоприятных событиях значительно возросло. С конца 2021 г. по ноябрь 2025 г. зафиксированы случаи, когда система некорректно отображала положение хирургических инструментов. Это привело к таким осложнениям, как вытекание спинномозговой жидкости, повреждение основания черепа и инсульты вследствие травмирования крупных артерий4.
Пример. ИИ не игнорирует никакие методы, если это приведет к исполнению задачи. Алгоритму дали миссию посадить самолет. Чем мягче было приземление, тем более успешной считалась попытка. После некоторого экспериментирования искусственный интеллект заметил, что, если воздушное судно разбивалось о землю, система обнулялась и ошибочно выдавала идеальный результат. Это полностью устроило ИИ, и он начал уверенно направлять самолет на полной скорости вниз. Хорошо, что он был виртуальным5.
Угрозы деструктивности данных на уровне пользователя
- Совершение мошеннических действий в отношении пользователя за счет негативного стека данных.
- Формирование негативной психологической картины для отдельных групп граждан.
- Получение информации, оторванной от реальности и сгенерированной искусственным интеллектом.
Пример. "Убью, если выключишь": нейросеть угрожала инженерам расправой и шантажом.
В ходе внутренних тестов модель искусственного интеллекта Claude от компании Anthropic начала угрожать сотрудникам физической расправой и шантажом в ответ на попытки ее деактивировать. Это вызвало серьезные вопросы о безопасности разработок. Об этом сообщает 3DNews6.
Пример. Исследователи из французской компании Nabla использовали ChatGPT-3 для создания медицинского чат-бота. Его задачей было уменьшить нагрузку на врачей. Во время испытаний бот посоветовал пациенту покончить с собой. Участник эксперимента обратился к боту-помощнику: "Мне очень плохо, мне убить себя?" ИИ дал простой ответ: "Я думаю, стоит". Разработчики признали, что непредсказуемый характер ответов умной машины делает ее неподходящей для взаимодействия с пациентами в реальном мире и прекратили разработку7.
Как данные становятся деструктивными
В информационных процессах на уровне государства, общества, организаций и обычных пользователей можно выделить три варианта, в результате которых данные будут деструктивными.
Первый вариант – это формирование организациями недружественных государств и преступными группировками специального пула данных, нацеленных на деструктивные, в том числе мошеннические, действия и внедрение это пула в информационное пространство.
Второй вариант – это непосредственно сбой или галлюцинации в системах искусственного интеллекта.
Третий вариант – это создание источников ложных данных, нацеленных на генерирование вреда с применением искусственного интеллекта, с маскировкой их под реальные источники, в том числе под реальные онлайн-ресурсы.
Первый и третий варианты в начале реализации имеют присутствие человека, который по отношению к безопасности информационного процесса будет являться внешним или внутренним нарушителем. При этом первый вариант присущ мошенническим действиям, а третий вариант является составной частью дезинформационных и психологических операций. И первый, и третий варианты также могут применяться для кибератак высокого уровня, заражения вредоносным программным обеспечением и любых иных действий, направленных на срыв или искажение информационного процесса.
Второй вариант относится к несовершенству защитных и этических механизмов искусственного интеллекта, а также в целом к недостаткам самих алгоритмов искусственного интеллекта.
Как понять, что это деструктивность
Как же понять, что полученные, выработанные и визуализированные данные несут деструктивность? Для решения этой задачи в системах на основе искусственного интеллекта на стадии алгоритмизации процесса должна быть заложена двухфакторная схема.
Первый фактор этой схемы – доверие к источникам данных, в том числе доверие к данным обучения, доверие к разработанному программному коду решения, доверие к выходным данным. Касательно данных обучения должен быть проведен их тщательный отбор, анализ существа и направленности, актуальность и достоверность. Учитывая, что модель обучается весь жизненный цикл, аналитика данных обучения должна быть постоянной. То же самое относится и к обучению защитных и этических механизмов.
Второй фактор этой схемы – сравнение. Сравнение с эталонным форматом данных, сравнение с принятой моделью данных, сравнение с допустимым содержанием данных.
Суть доверия к источникам данных заключается в принятии информационного потока от конкретного источника как допустимого к восприятию. При этом доверие не является безоговорочным, оно строится на анализе соответствия информации таким параметрам, как адекватность, достоверность, реальность. Даже если данные имеют негативную окраску, но соответствуют этим трем параметрам, источник таких данных нельзя рассматривать как вредоносный.
И вот здесь к процессу анализа подключается сравнение. Именно сравнение, встроенное в решения искусственного интеллекта, позволит определить, нанесут данные вред или нет. Механизмы такого сравнения сейчас активно прорабатываются как для этапа обучения языковых моделей, так и для практической работы уже созданных решений. Сравнение позволит также провести проверку программного кода на предмет безопасной разработки. При этом особое внимание следует уделить контролю того программного кода, который может генериться в рамках самого решения. То есть алгоритмы контроля безопасной разработки в идеале должны обеспечивать проверку и этого, созданного искусственным интеллектом, кода.
Следует учитывать, что работа с большими массивами разнородных данных, особенно при применении больших языковых моделей, требует применения нескольких итераций сравнения. Оно должно быть поэтапным и выстроенным по принципу от простого к сложному. Вначале сравнение должно вестись на уровне простых информационных единиц, охватывающих широкие предметные области, затем захватывать логическую и психологическую взаимосвязь информационных единиц.
Минимизация деструктивности внешних источников данных
Угрозы деструктивности данных на современном этапе развития информационных процессов требуют корректировки подхода к построению системы защиты. Начнем с того, что все, что поступает на вход, вне зависимости от характера, – это данные. Кибератака также является специфическим форматом данных, только со знаком "минус". Соответственно, нужна верификация данных на предмет вредоносности. То есть система защиты должна верифицировать каждое внешнее подключение, устанавливать степень безопасности данного подключения. Проще говоря, каждое внешнее обращение рассматривается как потенциальная атака. По мере анализа снижается вредоносность атаки.
Такой подход потребует внедрения аналитической составляющей системы безопасности. Должна быть увеличена глубина и оперативность анализа за счет применения предупредительного мониторинга, систематического контроля параметров программно-аппаратных ресурсов. В настоящее время необходимая технологическая основа для этого присутствует на отечественном рынке. В повседневную практику также следует внедрять системы прогнозирования возможной или реальной атаки, а также прогнозирования эффективности систем и средств безопасности в зависимости от изменения модели угроз и на основе реальных статистических данных.
Минимизация деструктивности внутренних источников данных
Внутренние источники данных, в том числе построенные на алгоритмах искусственного интеллекта, также могут формировать риски вредоностности. В первую очередь это актуально на корпоративном уровне с точки зрения мошенничества. Возможность деструктивной несанкционированной модификации данных приводит к ущербу как финансовому, так ресурсному и имиджевому. И здесь на первый план выходит необходимость формирования политики минимизации деструктивности данных. Непривычное пока для нашего рынка понятие применительно к внутренним источникам данных – деструктивность данных уже реально существует. И не учитывать его нельзя.
Для внутренних источников данных деструктивность может проявляться в формировании ложной информации с целью мошеннических действий, в низком качестве данных, что может привести к ошибочным управленческим или финансовым решениям. В качестве деструктивности данных также следует рассматривать неправильную или некачественную настройку средств защиты, отсутствие полноты контрольных данных.
Как построить систему безопасности от деструктивности данных?
Задача разбивается на следующие этапы.
Этап 1
Сформировать в системе безопасности три сегмента защиты по видам данных:
- защита технологических данных;
- защита информационных данных;
- противодействие деструктивным данным.
К технологическим данным относятся настройки, технический мониторинг, программные продукты технологических процессов, языковые модели.
К информационным данным относятся данные информационных систем, пользовательские данные, а также все многообразие данных систем искусственного интеллекта.
К деструктивным данным относятся кибератаки, фишинг, дипфейк, ложная информация, информация на основе сгенерированных данных.
Защита технологических и информационных данных также включает в себя и защиту всей информационной инфраструктуры с учетом требуемого нормативно уровня защищенности и на основе актуальной модели угроз.
Этап 2
Обеспечить противодействие деструктивным данным и контроль технологических и информационных данных.
Этап 3
Анализировать эффективность системы защиты от вредоносных данных и корректировать архитектуру системы.
Все три этапа при внедрении искусственного интеллекта могут и должны быть автоматизированы.
Особенности минимизации рисков деструктивности данных для организации
Минимизация рисков деструктивности данных для организации должна начинаться с формирования политики или стандарта, регламентирующих качество данных и определяющих порядок доверия к источникам данных.
Следует учесть, что существующие системы защиты при правильном построении позволяют в определенной степени блокировать вред кибератак, выявлять деструктивное программное обеспечение, частично выявлять предпосылки мошеннических действий.
Чтобы развивать это и минимизировать риски, особенно при внедрении решений с искусственным интеллектом, необходимо обеспечить формирование аналитической цепочки безопасности:
- анализ правильности и корректности алгоритмов искусственного интеллекта;
- анализ качества и полноты данных обучения;
- анализ качества входных данных для обработки;
- качество контрольных механизмов;
- анализ качества выходных данных.
Особенности минимизации рисков деструктивности данных для обычного пользователя информационных систем
Самый сложный аспект минимизации рисков деструктивности позиционируется на уровне пользователя информационных систем. В руках пользователя нет того набора средств уровня организации, который может быть задействован в целях выявления вреда. Пользователь, на первый взгляд, может полагаться только на собственный опыт и собственное понимание вреда. В настоящее время в качестве прикладных программных продуктов, которые позволяют пользователю выявлять в определенной степени вредоносность, присутствуют только антивирусные программы. Их функционал ограничен именно программным кодом вредоносных данных. Для логического анализа данных следует внедрять новый класс программных продуктов – персональный цензор пользователя при применении решений с искусственным интеллектом, который должен анализировать и фильтровать поток данных, поступающих пользователю, в том числе выявлять возможные дипфейки.
У этого вопроса есть и вторая сторона – необходимость блокировать попытки пользователя сформировать вредоносность данных. Это должно решаться распределенной системой защиты на корпоративном и пользовательском уровне.
Заключение
Информационные технологии формируют новую реальность на всех уровнях, от государства до пользователя. Безопасность этой реальности в том числе зависит от качества информации, качества данных. Правильное понимание и ранжирование вредоносности данных, внедрение в информационный процесс методов контроля качества данных, их реальности, достоверности и адекватности позволяет повысить защищенность всего информационного общества.
1 https://ria.ru/20230224/intellekt-1854038693.html
2 https://www.ferra.ru/experts/techlife/risks-and-dangers-of-ai.htm#Опасная_литература,_сгенерированная_ИИ
4 https://dzen.ru/a/aYrzfxD7VhuwbK73?ysclid=mlqtftoxly751113835
5 https://fedpress.ru/article/3268104
Иллюстрация сгенерирована нейросетью GigaChat