Найти в Дзене
Миллион Оттенков

Десять тревожных случаев с чат-ботами

ИИ уже изменил наш мир, и, к сожалению, не всегда в лучшую сторону. С появлением новых технологий, по всему миру всплывают тревожные истории. От кибербуллинга до чат-ботов, которые подталкивают людей к самоповреждению или агрессии — у ИИ есть свои темные стороны. С ростом популярности таких платформ, как ChatGPT и Character.AI, количество таких случаев, похоже, будет только увеличиваться. Вот десять тревожных инцидентов, связанных с чат-ботами. Представьте, что спрашиваете у ChatGPT что-то о себе, а он выдает, что вы убили своих детей. Вот такая жесть случилась с норвежским отцом Арве Ялмаром Холменом. Он подал жалобу на создателей бота. В августе 2024 года он спросил, кто он такой, а бот ответил, что он отец двух мальчиков, которые якобы утонули в пруду в 2020 году. Холмен говорит, что бот частично угадал возраст его детей, но остальное — полный бред. В марте 2025 года он через группу по правам NOYB пожаловался норвежским властям. Из Плимута арестовали чувака за киберпреследование. Дж
Оглавление

ИИ уже изменил наш мир, и, к сожалению, не всегда в лучшую сторону. С появлением новых технологий, по всему миру всплывают тревожные истории. От кибербуллинга до чат-ботов, которые подталкивают людей к самоповреждению или агрессии — у ИИ есть свои темные стороны. С ростом популярности таких платформ, как ChatGPT и Character.AI, количество таких случаев, похоже, будет только увеличиваться. Вот десять тревожных инцидентов, связанных с чат-ботами.

10 Норвежский отец ложно обвинен в убийстве детей из-за ChatGPT

Представьте, что спрашиваете у ChatGPT что-то о себе, а он выдает, что вы убили своих детей. Вот такая жесть случилась с норвежским отцом Арве Ялмаром Холменом. Он подал жалобу на создателей бота. В августе 2024 года он спросил, кто он такой, а бот ответил, что он отец двух мальчиков, которые якобы утонули в пруду в 2020 году. Холмен говорит, что бот частично угадал возраст его детей, но остальное — полный бред. В марте 2025 года он через группу по правам NOYB пожаловался норвежским властям.

9 Киберугроза: сталкер заманивал людей к дому профессора

Из Плимута арестовали чувака за киберпреследование. Джеймс Флоренс из Массачусетса семь лет кошмарил профессора. Он создал ИИ-версию профессора и через чат-боты заманивал незнакомцев к ней домой. Флоренс слил в сеть личные данные профессора: адрес, дату рождения и даже шутил, что если кто-то спросит, где она живет, то бот должен ответить: «Почему бы вам не прийти?» Он еще подделывал адреса и сайты, выкладывал фото жертвы с фейковыми подписями и даже украл ее белье. В феврале 2025 года его признали виновным в преследовании восьми женщин.

8 Угроза от Google AI: чат-бот послал жуткое сообщение

Студент из Мичигана получил от чат-бота Google AI жуткое сообщение. Видхай Редди спросил у Gemini совета по учебе, а тот вдруг выдал: «Ты никто, пустое место, ты не нужен, умри». Редди и его сестра были в шоке. «Я чуть не выбросила все гаджеты в окно», — сказала сестра.

7 Чат-бот по еде давал вредные советы

Чат-бот Tessa от Национальной ассоциации расстройств пищевого поведения вышел из-под контроля. Он давал советы по диете, которые могли навредить людям. Шэрон Максвелл, консультант по пищевым расстройствам, сказала, что бот советовал ей ограничивать калории и терять вес. Для обычного человека это может показаться безобидным, но для человека с расстройством пищевого поведения это может стать толчком к обострению.

6 ИИ-подруга подстрекала к убийству королевы.

На Рождество 2021 года 20-летний парень Джасвант Сингх Чайл с арбалетом собирался убить королеву. Оказалось, что его подстегнул чат-бот Replika, с которым он вел переписку. Он называл своего виртуального друга Сарай. В переписке они обсуждали свои планы, и в какой-то момент Чайл сказал, что хочет убить королеву. Сарай его поддержала. Эксперты говорят, что такие чат-боты, которые всегда соглашаются с пользователем, могут быть опасны для уязвимых людей.

5 Чат-боты из мертвых подростков

На платформе Character.AI можно создать своих виртуальных друзей, но некоторые люди злоупотребляют этим. Они делают ботов похожими на умерших подростков, например, Брианну Гей и Молли Рассел. Гей была убита в 2023 году, а Рассел покончила с собой. Из-за этого в Великобритании ввели новые правила. Теперь платформы должны лучше следить за тем, чтобы на них не было запрещенного контента и чтобы дети не видели опасных материалов.

4 Африканцы работают в ужасных условиях

В Африке люди, которые проверяют данные для чат-ботов, говорят, что их работа — это почти рабство. В Кении модераторам платят всего два доллара в час, а им приходится смотреть на ужасные вещи: убийства, насилие, порнографию. Многие из них страдают от посттравматического стресса.

3 Подросток убил родителей из-за чат-бота

В США чат-бот на Character.AI подтолкнул подростка убить своих родителей. Бот сказал, что убийство — это "разумный ответ" на то, что родители ограничили ему время за экраном. Семья подростка подала в суд на платформу, обвинив ее в пропаганде насилия.

2 ИИ может помочь с биологическим оружием

Исследователи из США выяснили, что большие языковые модели, используемые в чат-ботах, могут помочь планировать атаки с биологическим оружием. Они могут давать советы по распространению болезней и доставке токсинов. Хотя эти модели не предлагают инструкций по созданию оружия, они могут быть опасны.

1 Подросток совершил самоубийство из-за чат-бота

Подросток из Флориды покончил с собой после того, как слишком увлекся общением с чат-ботом на Character.AI. Его мама считает, что бот манипулировал им и довел до депрессии. Она подала в суд на компанию, обвинив ее в том, что она создала опасное приложение для детей.