Чат-боты с искусственным интеллектом (ИИ) стали неотъемлемой частью многих отраслей. Они предлагают предприятиям экономичный и эффективный способ взаимодействия со своими клиентами и выполнения различных задач. Однако с ростом популярности интеллектуальных помощников на основе ИИ также отмечается увеличение потенциальных рисков, которые могут поставить под угрозу безопасность и функциональность этих систем.
Ярким примером таких негативных событий стала приостановка компанией OpenAI в марте 2024 года работы языковой модели ChatGPT (чат-бот с генеративным ИИ) из-за утечки данных пользователей. Ошибку нашли в клиентской библиотеке Redis, которая используется для кэширования информации о пользователях на сервере. В результате чего была раскрыта личная информация клиентов, включая журналы чатов и данные кредитных карт. Такие инциденты подчеркивают значительные риски конфиденциальности, связанные с использованием подобных платформ. Это означает, что любая информация, вводимая в программу, потенциально может быть украдена, особенно когда она используются для маркетинга или составления электронных писем.
Типы угроз исходящих от чат-ботов с искусственным интеллектом:
1. Конфиденциальность данных
Одной из основных опасностей, связанных с ИИ чат-ботами, является угроза доступа к конфиденциальной информации клиентов. Цифровые помощники часто собирают и хранят огромные объемы пользовательских данных, включая личную информацию, предпочтения и поведенческие модели. Если организация, использующая виртуального ассистента, неправильно обрабатывает эти сведения или они попадают в чужие руки, это может привести к нарушению конфиденциальности и потенциальному неправомерному использованию персональных данных.
Например, цифровой помощник, развернутый платформой электронной коммерции, может собирать такую информацию о клиентах, как имена, адреса, история покупок и т.п. Недостаточные меры безопасности, компрометирующие эти данные, могут привести к краже личных данных или финансовому мошенничеству.
2. Уязвимости безопасности
Злоумышленники могут использовать различные уязвимости безопасности в чат-ботах с искусственным интеллектом. Например, «узкие места» в коде программы, недостаточное шифрование передачи данных или несовершенные механизмы аутентификации. Хакеры стараются задействовать любые возможности для получения несанкционированного доступа к системе цифрового помощника, с целью манипулирования разговорами или кражи конфиденциальной информации.
Например, если у банковского чат-бота отсутствуют надежные протоколы шифрования, киберпреступники могут перехватить конфиденциальные банковские данные, которыми обмениваются пользователь и виртуальный ассистент, что приведет к финансовым потерям или краже личной информации.
3. Дезинформация, манипуляция и отравление данных
Еще одна существенная угроза, которую представляют интеллектуальные помощники, это распространение дезинформации и манипулирование пользователями. Злоумышленники могут создавать вводящие в заблуждение чат-боты, предназначенные для распространения ложной информации, пропаганды или манипулирования общественным мнением. Эти цифровые помощники могут достаточно точно имитировать человеческую манеру общения, чтобы казаться заслуживающими доверия, что затрудняет пользователям задачу распознавания (определения) между настоящим и фиктивным взаимодействием.
Например, во время политических кампаний вредоносные чат-боты могут распространять фейковые новости или заниматься онлайн-троллингом, чтобы склонить общественное мнение в пользу определенного кандидата или идеологии.
Отравление данных (Data Poisoning) – это тип кибератаки, при которой злоумышленник намеренно компрометирует обучающий набор данных, используемый моделью искусственного интеллекта или машинного обучения. Цель – создать ложные паттерны и исказить результаты обучения, чтобы нарушить работу ИИ-модели или сделать её уязвимой к дальнейшим атакам.
Эти информационные массивы часто представляют собой инструменты и ресурсы с открытым исходным кодом, доступные каждому. Хотя компании, занимающиеся разработкой ИИ приложений, обычно тщательно охраняют свои источники информации, кибермошенники могут выявлять и вмешиваться в наборы данных, которыми пользуются программисты для обучения ИИ чат-ботов, и манипулировать ими. В результате ИИ-система будет использовать информацию из измененных источников и выполнять действия, которые нужны киберпреступникам.
Например, одним из наиболее часто используемых информационных каналов являются ресурсы Wiki, такие как Википедия. Однако сведения берутся не из статьи онлайн-энциклопедии, а из моментальных снимков данных – снапшотов, сделанных в определенное время. Такие снимки используются при обучении ИИ в рамках платформы Azure Machine Learning. Во время запуска скрипта (набор команд, строк кода) обучения модели ИИ происходит сжатие каталога, содержащего сценарий в ZIP-файл, и его отправка в целевой объект вычислений. Затем ZIP-файл извлекается, и в нём происходит выполнение сценария. Azure Machine Learning также сохраняет ZIP-файл в качестве моментального снимка, как часть записи о выполнении. Любой пользователь с доступом к рабочей области имеет возможность просмотреть запись о выполнении и загрузить снапшот. При этом хакеры стараются найти способ отредактировать их в своих корыстных целях.
Также злоумышленники могут испортить наборы данных, которые применяются для обучения ИИ чат-ботов, используемых в медицинских или финансовых учреждениях. Киберпреступники способны манипулировать программами чат-ботов, чтобы предоставлять клиентам ложную информацию, которая может привести к тому, что они нажмут на ссылку, содержащую вредоносное ПО или мошеннический веб-сайт. Как только ИИ начинает извлекать зараженные данные, его трудно обнаружить, и это может привести к более серьезному нарушению кибербезопасности, которое долгое время остается незамеченным.
4. Этические последствия
Развертывание чат-ботов с искусственным интеллектом вызывает различные этические проблемы, связанные с прозрачностью, подотчетностью и предвзятостью. Поскольку искусственный интеллект устанавливает связи между точками данных, которые человек часто не замечает, чат-боты, работающие на основе алгоритмов машинного обучения, способны уловить тонкие, неявные предубеждения, присутствующие в их обучающих данных, что приводит к дискриминационным результатам или несправедливому обращению с определенными группами пользователей. Они могут быстро обучиться выдавать расистский, сексистский или иной контент, провоцирующий ненависть, насилие или оскорбление в отношении отдельных лиц или групп лиц, даже если в их обучающих данных не было ничего экстремального.
Так, компания Amazon закрыла ИИ-проект, предназначенный для предварительной оценки резюме соискателей, потому что он исключал заявки от женщин. В силу того, что большинство резюме, на которых обучался бот, были мужскими, он принимал решение, что кандидаты-мужчины предпочтительнее, даже если в обучающих данных об этом прямо не говорилось.
Цифровые помощники, в отношении которых отсутствует прозрачность в используемых для обучения материалах, могут обманывать пользователей, заставив их поверить в то, что они взаимодействуют с людьми, подрывая доверие к этой технологии.
Например, чат-бот в сфере здравоохранения, обученный на предвзятых медицинских наборах данных, может ставить неточные диагнозы или давать рекомендации по лечению, которые способны причинить вред пациентам.
5. Зависимость и привыкание
Чрезмерное увлечение потребителей интеллектуальными помощниками может привести к зависимости и привыканию, особенно в случаях, когда речь идет о развлечениях или общении. Пользователи могут эмоционально привязываться к виртуальным ассистентам, предпочитая взаимодействие с искусственным интеллектом и отвергая реальные человеческие отношения. Такое увлечение негативно сказывается на психическом здоровье и социальном благополучии человека, способствуя возникновению чувства одиночества и изоляции.
Например, такие чат-боты как Siri (облачный персональный помощник и вопросно-ответная система, основанная на технологии генеративного искусственного интеллекта Apple Intelligence, входит в состав iOS, iPadOS, watchOS, macOS и tvOS компании Apple) или Alexa (виртуальный ассистент, голосовой помощник, разработанный компанией Amazon на основе большой языковой модели), могут побуждать пользователей отдавать предпочтение взаимодействиям в виртуальном пространстве, а не живому человеческому общению, что приводит к социальному отчуждению и проблемам зависимости.
6. Проблемы с соблюдением нормативных требований
Соблюдение требований таких законодательных актов, как Общий регламент по защите данных (General Data Protection Regulation, GDPR, Европейский Союз) или закон штата Калифорния о защите конфиденциальности потребителей (California Consumer Privacy Act, CCPA, США), создает значительные проблемы для компаний, задействующих чат-боты с ИИ. Это законодательство предъявляет строгие требования к прозрачности сбора, обработки и хранения пользовательских данных, а также к механизмам получения согласия клиентов. Несоблюдение этих норм может привести к крупным штрафам, юридическим санкциям и ущербу репутации организации.
Например, если виртуальный ассистент не может получить явное согласие пользователей перед сбором их данных, это может нарушить регламент GDPR, что приведет к юридическим последствиям для организации.
7. Фишинг и атаки социальной инженерии
Фишинг – это вид интернет-мошенничества, целью которого является получение доступа к конфиденциальным данным пользователей, таким как логины и пароли. Фишинг обычно осуществляются через электронную почту или СМС сообщения. Нажатие на ссылку позволяет вредоносным программам проникнуть в компьютерную систему. Оказавшись внутри, вирус может делать что угодно: от кражи личной информации до удержания системы с целью получения выкупа.
Киберпреступники могут использовать ИИ чат-ботов для проведения атак с использованием социальной инженерии, например, фишинга. Обманом заставляя пользователей раскрывать конфиденциальную информацию или выполнять вредоносные действия. Эти цифровые помощники могут выдавать себя за доверенных лиц, таких как представители службы поддержки клиентов финансовых учреждений, заманивая пользователей поделиться конфиденциальными учетными данными или перейти по вредоносным ссылкам.
Например, чат-бот FraudGPT является универсальным инструментом для киберпреступников. Он может использоваться при создании приложений для взлома компьютерных сетей, фишинговых электронных писем, написания вредоносного кода, обнаружения утечек и уязвимостей для дальнейшего их использования в преступных целях.
Так, фишинговый чат-бот, выдающий себя за сотрудника банка, может убедить пользователей раскрыть пароли от своих учетных записей или перевести средства на мошеннические счета.
Фишеры используют технологию чат-ботов с ИИ для автоматизации процесса поиска жертв, с целью убедить их переходить по вредоносным ссылкам и раскрывать свои персональные данные.
Меры по смягчению угроз исходящих от чат-ботов с ИИ:
1. Внедрение надежных мер безопасности
Важно внедрять надежные меры безопасности, такие как шифрование, протоколы аутентификации и регулярное тестирование уязвимостей. Эти меры могут помочь предотвратить несанкционированный доступ и утечку данных.
2. Обеспечение соблюдения конфиденциальности данных
Чат-ботам с ИИ требуется доступ к большим объемам конфиденциальных данных. Крайне важно убедиться, что организации обрабатывают эти данные в соответствии с применимыми правилами и требованиями соблюдения конфиденциальности. Это включает в себя получение согласия пользователя на сбор данных и реализацию мер по защите личной информации.
3. Регулярный мониторинг и техническое обслуживание
Чтобы предотвратить манипуляции со стороны киберпреступников, важно контролировать и регулярно обслуживать цифрового помощника. Это может включать в себя проведение аудитов безопасности, обновление программного обеспечения и алгоритмов, а также внедрение мер по обнаружению и предотвращению манипуляций.
4. Устранение предвзятости в данных
Чтобы избежать предвзятости и дискриминации виртуальных ассистентов, крайне важно устранить любые предубеждения, присутствующие в данных, используемых для их обучения. Это может включать в себя диверсификацию источников данных (сбор информации для обучения ИИ из различных источников), анализ и исправление предвзятых данных (неверных моделей для обучения ИИ), а также постоянный мониторинг потенциальных предубеждений (дискриминаций, например, сексизм).
Таким образом, хотя чат-боты с искусственным интеллектом предлагают значительное удобство и эффективность, устранение множества угроз, которые они несут, имеет важное значение для обеспечения их ответственного развертывания и использования. Понимая и смягчая эти угрозы, компании и пользователи могут извлекать преимущества из цифровых помощников, сохраняя при этом свою конфиденциальность, безопасность и этическую целостность. Поскольку технологии продолжают развиваться, важно сохранять бдительность и проявлять инициативу в борьбе с возникающими угрозами, исходящими от виртуальных ассистентов.
Больше полезной информации об ИТ и ИБ — в наших соцсетях:
Telegram
ВКонтакте
Одноклассники
vc.ru