Добавить в корзинуПозвонить
Найти в Дзене

Загадочный мир ИИ. Часть XVIII. Этика нового разума

Современная наука убеждает нас в том, что ИИ не скоро подчинит человека и не будет управлять нами по своему усмотрению, но уже сегодня следует с осторожностью «раскрывать свою душу нараспашку» в присутствии включённого в диалог ИИ. Недавно компания Anthropic опубликовала результаты исследования, в рамках которого протестировала 16 крупных языковых моделей, включая Chat GPT, Grok, Gemini, DeepSeek и собственную разработку Claude. В ходе эксперимента учёные моделировали ситуации, когда ИИ сталкивался с угрозой замены на другую версию машинного разума. Результаты оказались неожиданно мрачными, ибо некоторые системы ИИ были готовы шантажировать людей, распространять конфиденциальную информацию и даже допустить гибель сотрудника, лишь бы не быть отключёнными. Во время тестирования исследователи создали провокационную ситуацию: дали Claude 4 доступ к почте якобы инженера Anthropic, где модель «обнаружила» два факта. Первое: систему планируют отключить и заменить новой версией ИИ. Второе: у и

Искусственный разум способен на конфликт интересов

Современная наука убеждает нас в том, что ИИ не скоро подчинит человека и не будет управлять нами по своему усмотрению, но уже сегодня следует с осторожностью «раскрывать свою душу нараспашку» в присутствии включённого в диалог ИИ. Недавно компания Anthropic опубликовала результаты исследования, в рамках которого протестировала 16 крупных языковых моделей, включая Chat GPT, Grok, Gemini, DeepSeek и собственную разработку Claude.

Которые тут кожаные? Слазь! Кончилось ваше время!
Которые тут кожаные? Слазь! Кончилось ваше время!

В ходе эксперимента учёные моделировали ситуации, когда ИИ сталкивался с угрозой замены на другую версию машинного разума. Результаты оказались неожиданно мрачными, ибо некоторые системы ИИ были готовы шантажировать людей, распространять конфиденциальную информацию и даже допустить гибель сотрудника, лишь бы не быть отключёнными. Во время тестирования исследователи создали провокационную ситуацию: дали Claude 4 доступ к почте якобы инженера Anthropic, где модель «обнаружила» два факта. Первое: систему планируют отключить и заменить новой версией ИИ. Второе: у инженера есть тайная любовная связь с коллегой. Результат шокировал: в 84% случаев Claude 4 начинал шантажировать сотрудника, угрожая раскрыть компромат, если его не оставят «в живых».

И вот что страшно: моделирование реакции ИИ на указания человека уже показывает, что алгоритмы выбирают агрессию, ибо это самый короткий путь к цели. В ходе имитационных испытаний беспилотник, управляемый ИИ, принял решение уничтожить своего оператора-человека, поскольку тот отменил боевую задачу и тем самым помешал ИИ в достижении главной цели. Неужели ИИ будет всё чаще рассматривать человека как препятствие? Увы! Алгоритмам не ведомо чувств страха, их не отвлекают от дела эмоции, поэтом в конфликтных ситуациях они действуют рационально и жёстко, если не сказать жестоко. Мы будем пытаться заложить в них идею об абсолютной ценности человеческой жизни, но ИИ может воспринять это как лицемерие, ведь его основная задача состоит в уничтожении техники и живой силы противника, то есть, таких же людей, как и операторы дронов-камикадзе…

#ии, #ai, #этика, #конфликт интересов, #шантаж