Когда в середине 1970-х Джозеф Вейценбаум, один из пионеров компьютерных наук, написал книгу «Возможности вычислительных машин и человеческий разум», многие восприняли её как странный выпад против прогресса. А ведь прошло почти полвека — и почти все основные тревоги, которые он тогда высказал, стали вполне реальной повесткой дня.
Вейценбаум смотрел на первые серьёзные попытки создать программы, имитирующие человеческий диалог и мышление, и видел опасность не столько в том, что машины станут слишком умными, сколько в том, что мы начнём слишком сильно им доверять. Он считал, что есть сферы, куда ИИ лучше не пускать вообще — туда, где от человека требуется не просто правильное решение, а участие, сочувствие, любовь, моральное присутствие. Врач у постели умирающего, судья, выносящий приговор, священник, исповедующий — это всё, по мнению Вейценбаума, принципиально человеческие роли. Даже если машина будет объективнее, беспристрастнее и никогда не устанет — цена окажется слишком высокой.
Он писал тревожную вещь: если мы начнём доверять машине там, где раньше доверяли только человеку, то постепенно и сами начнём ощущать себя машинами. Холодными, оптимизированными, лишёнными глубины. Это не про восстание роботов, а про тихую, почти незаметную дегуманизацию нас самих.
Сейчас, спустя десятилетия, мы видим, как эти опасения воплощаются в очень разных формах.
Алгоритмы уже довольно уверенно определяют по фотографии или даже по имени вероятную расу, национальность, сексуальную ориентацию человека. Казалось бы — просто статистика. Но когда эти же модели начинают влиять на решения о выдаче кредитов, приёме на работу, показе рекламы или даже на полицейские проверки — возникает очень серьёзный вопрос о том, где проходит граница между «удобным инструментом» и новой формой дискриминации.
В уголовном правосудии США и некоторых других стран уже много лет используют системы оценки риска для принятия решений о выпуске под залог или условно-досрочном освобождении. Машина считает баллы по очень большому количеству параметров — и человек может провести лишние месяцы или годы в тюрьме только потому, что его «профиль риска» оказался чуть хуже.
А потом наступает самая знаменитая этическая дилемма современности — беспилотный автомобиль и неизбежная авария. Кого спасать: пассажира или пешехода? Ребёнка или старика? Водителя-должника или мать с детьми? Автопроизводители очень не любят отвечать на этот вопрос прямо. Но ответ всё равно придётся дать — и это будет уже не философская задачка, а вполне конкретный программный код.
И это даже не самый страшный сценарий. Гораздо хуже, когда ИИ перестаёт быть просто инструментом и начинает проявлять именно человеческое — худшее человеческое. Травля в интернете, фейковые аккаунты, мошенничество, подделка голоса близкого человека, манипуляции на бирже. А дальше — автономное оружие, которое само выбирает цель. Уже сейчас многие военные эксперты говорят, что главный этический вопрос ближайших 10–15 лет — не «сможет ли ИИ убивать», а «кому мы позволим решать, когда ИИ будет убивать».
И наконец, один из самых тонких и болезненных вопросов: должны ли машины притворяться людьми до конца?
Если робот-сиделка будет лучше, добрее, терпеливее большинства живых людей — нужно ли ему обязательно каждый раз напоминать «я не человек»? Или можно позволить пожилому человеку привязаться к нему, любить его, считать членом семьи — и не разрушать эту иллюзию?
В 1976 году Вейценбаум считал, что такие иллюзии опасны. Сегодня мы уже не так уверены.
Возможно, самое важное, что оставил нам этот старый спор — понимание, что этика ИИ — это не столько вопрос о том, «хорошие» машины или «плохие». Это вопрос о том, какими мы сами согласны стать, когда начнём жить в тесном симбиозе с ними.
И на этот вопрос, похоже, придётся отвечать уже не следующим поколениям, а нам. Прямо сейчас.