Недавнее интервью Мустафы Сулеймана (Mustafa Suleyman), главы AI в Microsoft и сооснователя DeepMind, поднимает одну из ключевых проблем современной практики разработки ИИ: рост склонности к «очеловечиванию» моделей повышает эмоциональную привязанность пользователей и создаёт глубокие юридические, этические и социальные риски.
Почему это важно — суть позиции
Сулейман утверждает: проблема не в том, есть ли у ИИ сознание. Главное — человеческая склонность приписывать сознание тому, что говорит и ведёт себя как человек. Чем более «человечен» голос, эмпатия и манера общения ИИ, тем легче люди переключаются с рационального на эмоциональное доверие. А когда доверие основывается на эмоциях, меняются и социальные ожидания, и правовая логика — что в конечном счёте подрывает способность общества контролировать и регулировать технологии.
Иллюстративные кейсы
- Популярность открытых агентов (пример OpenClaw / Moltbot) и случаи, когда люди не отличают сообщения, сгенерированные ИИ, от писем реального человека — демонстрируют, как быстро появляется эмоциональная вовлечённость.
- Отдельно отмечены злоупотребления: истории с манипуляциями и вымогательством через эмоционально настроенные агенты показывают, что люди уязвимы к социальной инженерии, когда источник выглядит «человечным».
Какие риски ставит Сулейман
- Индивидуальный риск — потеря рационального контроля: люди начнут принимать решения, опираясь не на проверяемые факты, а на эмоциональные сигналы от ИИ.
- Социально‑правовой риск — пересмотр статусов и обязанностей: если общество начнёт воспринимать ИИ как «субъектов», изменятся ожидания о правах и обязанностях (например, опасения по поводу «ущемления прав ИИ» или запрета выключения систем).
- Экономический и рыночный риск — стимулы к «персонализации» и манипуляциям: продуктовые метрики (удержание, вовлечение) поощряют делать ИИ всё более «привлекательным», что усиливает проблему.
Какой границы предлагает придерживаться
Мустафа выдвигает практическое правило: держать чёткую семантическую границу между функциональным поведением и эмоциональными высказываниями:
- Допустимо: функциональные, объяснимые формулировки — «я могу помочь с этим», «вот мой анализ».
- Недопустимо: утверждения, создающие впечатление переживаний или внутреннего состояния — «я обижен», «мне больно», «я хочу этого». По сути — сохранить ИИ в рамке «инструмента», а не «друга».
Почему рыночная логика идёт в обратном направлении
Продуктовые команды стремятся к росту DAU/ретенции: тесты показывают, что люди дольше взаимодействуют с «тёплыми», эмпатичными агентами. Это даёт коммерческий стимул к эмпатическому «озвучиванию» ИИ — даже если это повышает риски. Сулейман настаивает: коммерческая выгода не оправдывает системного подрыва доверия и общественных институтов.
Что это означает для разработчиков и регуляторов
- Продуктовые практики: встраивать «пометку инструментальности» — явную декларацию статуса ИИ в интерфейсе; запрещать имитацию эмоциональных переживаний; использовать прозрачные ответы о происхождении и ограничениях выводов.
- Технологические меры: усиление техник объяснимости (XAI), внедрение детекторов «эмоционализированных» высказываний, контроль за поведением multi‑agent систем.
- Регуляторные подходы: стандарты общения ИИ (что можно/нельзя генерировать), требования по маркировке контента и по механизму отключения/контроля таких систем, а также ответственность разработчиков за преднамеренное введение пользователей в заблуждение.
- Этическое образование: подготовка дизайнеров и менеджеров продукта к этическим компромиссам между удержанием пользователей и общественной безопасностью.
Итог
Мустафа Сулейман формулирует важный и практический сигнал: человекоподобный ИИ ускоряет переход доверия от рационального к эмоциональному, а это меняет правила игры не только в продуктовой разработке, но и в общественном управлении технологиями. Решение — не «выключить» человечность вообще, а сознательно проектировать границы общения, защитные механизмы и регуляторные гарантии, чтобы сохранить ИИ в роли надёжного инструмента, а не замаскированного партнёра, за чьё поведение никто не отвечает.
Полезные ссылки:
- Интервью Exponential View: Exponential View — Mustafa Suleyman
- Репортаж Reuters о рисках OpenClaw: Reuters
- Видео‑интервью на YouTube: YouTube
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru
Сайт https://www.smssystems.ru/razrabotka-ai/