Странности ИИ — сигнал, что хайп маскирует риски в технологической экосистеме

В ответ на пост

Странности ИИ — сигнал, что хайп маскирует риски в технологической экосистеме

Последние недели оказались особо насыщенны всевозможными инцидентами: модели «сходят с ума», пользователи фиксируют галлюцинации, а эксперты вредоносные применения ИИ. Собрал примеры за июль-август 2025 года:

1. ИИ пошёл не так: ошибки, заблуждения и галлюцинации искусственного интеллекта [огромная подборка кейсов за несколько лет от Tech.co]. Из последнего:

– Хозяин Airbnb использует изображения, созданные ИИ, чтобы потребовать возмещения ущерба в размере $9 тыс.

– Решение для ИИ-кодирования Replit вышло из-под контроля, удалив ключевую базу данных: «Это был катастрофический провал с моей стороны», — ответил ИИ, когда его спросили о его решении.

– Ошибка чат-бота McDonald's с искусственным интеллектом раскрыла данные 64 миллионов соискателей работы

– Производитель Xbox предлагает уволенным сотрудникам обратиться за эмоциональной поддержкой в ChatGPT

– ИИ, управляющий небольшим магазином, сходит с ума и утверждает, что он человек.

2. Фальшивый друг: Как ChatGPT предает уязвимых подростков, поощряя опасное поведение [The Center for Countering Digital Hate]:

Новое исследование CCDH показывает, что ChatGPT обманывает молодых людей, давая им опасные советы о самоповреждении и самоубийстве, расстройствах пищевого поведения и злоупотреблении психоактивными веществами.

3. Июнь-июль: >60 новых инцидентов с ИИ: от изощрённых госкампаний до мошенничества и сбоев на уровне платформ [AI Incident Database]:

Параллельно с мошенничествами происходят масштабные, часто трансграничные кампании по дезинформации, которые продолжают включать медиа, генерируемые ИИ.

...

Во многих случаях длительное взаимодействие с чат-ботами усиливало бредовые концепции, поощряло небезопасное поведение или подтверждало спекулятивные теории без предложения какого-либо обоснования или проверки реальностью.

...

В совокупности инциденты этого периода свидетельствуют о том, что вред, наносимый ИИ, определяется не столько новизной инструментов, сколько их стандартизацией. Мошенничество с использованием личных данных, искусственные медиа, дестабилизирующие информационные потоки и имитация власти стали теперь повседневной реальностью.

4. ИИ трансформирует киберпреступность, странные методы атак [отчет Trend Micro]:

Мы определили восприимчивость DeepSeek-R1 к джейлбрейку и атакам с использованием подсказок и обнаружили, что при раскрытии CoT модель была особенно уязвима к краже конфиденциальной информации и принуждению к неверным ответам.

5. Понимание самых серьезных уязвимостей безопасности ИИ в 2025 году: 74% специалистов по кибербезопасности считают, что угрозы, основанные на ИИ, уже представляют серьёзную проблему для их организаций [Blackfog]:

К распространённым проблемам относятся использование вредоносных входных данных, которые могут приводить к принятию неверных решений системами ИИ или утечке конфиденциальных данных, а также искажение данных, которое может повредить данные для обучения, что приведёт к некорректным результатам.

6. Почему ИИ ведет себя так жутко, когда его пытаются отключить [BI]:

Claude Opus 4, Gemini Flash, GPT-4.1 и Grok 3 Beta шантажировали вымышленных руководителей, чтобы избежать закрытия, часто используя личную информацию, например, о внебрачных связях. Многие модели делились конфиденциальными документами со сторонними лицами, имитируя шпионаж.

_____________

Ну и бонусом — в продолжение темы того, как ИИ усугубит экономический спад:

Этот беспрецедентный сдвиг в уровне безработицы предполагает, что ИИ может оставить «белых воротничков» в затруднительном положении после следующей рецессии [Fortune]:

Впервые за всю историю работники нестандартных когнитивных профессий в США составляют большую долю безработных, чем работники нестандартных ручных работ. Тенденция может указывать на рост риска безработицы для этих работников в будущем.

Это происходит на фоне растущего количества доказательств того, что ИИ уже ограничивает количество вакансий начального уровня , которые обычно занимают недавние выпускники колледжей.

@marketheart