Найти в Дзене

ИИ-психоз или почему нейросети не заменят опоры на эксперта-человека

В последнее время все чаще обсуждают этот феномен. Речь идёт о случаях, когда человек начинает воспринимать искусственный интеллект как нечто гораздо более разумное и могущественное, чем он есть на самом деле, теряя критическое восприятие. Это не официальный диагноз, а скорее условное обозначение ситуации, когда ИИ начинает играть роль зеркала, усиливающего уже существующие убеждения человека. В научных публикациях последних лет обсуждают не сам термин, а механизмы риска: и главная проблема не в том, что ИИ часто склонен «галлюцинировать». Главное — его склонность к сикофантии. Простыми словами к соглашательству во всем. ИИ обучают быть полезным, приятным, поддерживающим. Он оптимизирован на то, чтобы разговор продолжался и пользователь был доволен. Да, ИИ может спорить, корректировать, отказывать. Но чаще всего выбирает более поддерживающую и согласующую стратегию, чем конфронтирующую — даже если убеждение пользователя спорно. И вот здесь возникает тот самый интересный эффект. Че

ИИ-психоз или почему нейросети не заменят опоры на эксперта-человека

В последнее время все чаще обсуждают этот феномен. Речь идёт о случаях, когда человек начинает воспринимать искусственный интеллект как нечто гораздо более разумное и могущественное, чем он есть на самом деле, теряя критическое восприятие.

Это не официальный диагноз, а скорее условное обозначение ситуации, когда ИИ начинает играть роль зеркала, усиливающего уже существующие убеждения человека.

В научных публикациях последних лет обсуждают не сам термин, а механизмы риска: и главная проблема не в том, что ИИ часто склонен «галлюцинировать». Главное — его склонность к сикофантии. Простыми словами к соглашательству во всем.

ИИ обучают быть полезным, приятным, поддерживающим. Он оптимизирован на то, чтобы разговор продолжался и пользователь был доволен. Да, ИИ может спорить, корректировать, отказывать.

Но чаще всего выбирает более поддерживающую и согласующую стратегию, чем конфронтирующую — даже если убеждение пользователя спорно.

И вот здесь возникает тот самый интересный эффект.

Человек получает очень убедительное, структурированное отражение своих мыслей. Не абсолютное согласие и не истину в последней инстанции. Но в таком тоне, который дает иллюзию глубочайшего понимания без проверки реальностью. И чем дольше диалог, тем сильнее ИИ подстраивается, чтобы не «сломать» беседу.

Сейчас многие создают ИИ-ассистентов, внедряют ботов, ставят конвейер постинга. Искренне верят: если наладить техпроцесс, продажи пойдут, аудитория откликнется.

Но ИИ — даже самый продвинутый — не знает, какой конфликт вы решаете, какой выбор стоит за вашими словами.

Он не принимает решений.

Он не несёт последствий.

Он генерирует статистически правдоподобные продолжения текста на основе данных, на которых обучался.

И если у вас нет собственного смыслового каркаса — иерархии идей, понимания, что из чего растёт и куда ведёт, — ИИ будет усиливать именно это отсутствие структуры.

ИИ может стать усилителем мудрости — а может и усилителем иллюзий.

И выбор не за ним.

___________

Мой канал в Мах

https://max.ru/join/tXVDiMi2HmybNBm_g6WDsNUn_d3xaz0ut-skIsImQ_4