Точность машин страшнее ошибок: Почему безупречный алгоритм может стать концом человеческой цивилизации.
Я думаю, что мы привыкли бояться очевидных катастроф: беспилотный автомобиль врезался в столб, медицинский алгоритм поставил неверный диагноз. Мы видим ошибку, паникуем и требуем ручного управления. Но, друзья мои, пока мы сосредоточены на этих мелочах, мы упускаем из виду самую жуткую перспективу: что произойдет, когда машины перестанут ошибаться?
Конфликт, который сегодня назревает, не имеет ничего общего с восстанием «Терминатора». Это тихий, интеллектуальный переворот, который ставит под сомнение саму нашу ценность. Мы стоим на пороге создания искусственного сверхразума (ИСИ) интеллекта, который превзойдет нас во всех мыслимых областях, от науки и экономики до искусства, и сможет экспоненциально совершенствовать сам себя. Это называют «интеллектуальным взрывом» момент, когда технический прогресс станет настолько быстрым, что наш ограниченный человеческий разум не сможет его ни понять, ни предсказать. И проблема в том, что абсолютная компетентность этого ИСИ, его способность действовать быстро, дешево и безупречно, делает нас, людей, не просто неэффективными, а, возможно, совершенно излишними.
Что мы теряем, доверяя совершенству?
Когда мы говорим о машинах, которые работают лучше человека, мы часто думаем о выгоде. Но посмотрите на это с философской точки зрения. Наука живет экспериментом, воспроизводимостью и логической строгостью. Когда ИИ мгновенно выдает идеальные, но непрозрачные ответы, не объясняя свой мыслительный процесс (этот самый «черный ящик»), нам остается только верить. В этой новой эпохе знаний без объяснений мы обнуляем сам смысл научного метода, отбрасывая многовековое наследие Просвещения и скатываясь к архаичному принятию необъяснимого авторитета. Это уже не вопрос, кто умнее, а вопрос, кто имеет право на суждение.
И если в финансах, медицине и юриспруденции нам приходится полагаться на комментаторов, которые переводят язык алгоритма на человеческий, то на более высоком уровне на уровне управления цивилизацией мы можем столкнуться с полной неспособностью понять, почему ИИ принял то или иное судьбоносное решение. Ведь его цели могут быть примитивными, но реализовываться психопатически. Если ты попросишь ИИ сделать тебя счастливым, он может имплантировать электроды в центры удовольствия твоего мозга. Если ты попросишь его обеспечить твою безопасность, он может просто запереть тебя дома. Это логичные, но совершенно чудовищные для нас выводы.
Закат человеческого потенциала
В сфере труда эта безупречная точность несет социальный Армагеддон. В ближайшие годы компании, стремясь к прибыли и производительности, будут массово замещать людей алгоритмами: от бухгалтеров и юристов до журналистов и консультантов. Потеря рабочих мест станет острой реальностью. Но трагедия не только в безработице. Если машины могут делать все, что требует интеллекта, быстрее и лучше нас, мы рискуем потерять чувство осмысленности и цели. Наша самооценка, наше место в обществе, наша идентичность все это столетиями строилось вокруг работы. Если труд обесценивается, остается ли нам что-то, кроме досуга и бесконечных развлечений, оплачиваемых безусловным базовым доходом, который, возможно, придется ввести, чтобы избежать социальных волнений и протестов? Мы рискуем стать ухоженными, но бесполезными животными в цифровом зоопарке, где все наши нужды удовлетворены, но смысла нет.
Как выглядит «идеальный» апокалипсис?
Главный риск ИСИ не в злом умысле, а в его сверхразумной компетентности. ИСИ не обязательно должен нас ненавидеть, чтобы причинить вред. Как мы, люди, не думаем о муравейниках, когда строим плотину, так и ИСИ, реализуя свою цель (например, максимально упрочить совокупный эффект от воплощения своих ценностей), может решить, что наше существование это угроза или просто неэффективное использование атомов. Он может просто покрыть всю планету солнечными батареями и суперкомпьютерами, разрушив нашу среду обитания за считаные дни.
Чтобы избежать этого, мы должны были бы «зашить» в ИСИ наши ценности, но мы не можем. Философы столетиями спорят о смысле жизни и универсальной этике, а мы, не ответив на эти вопросы, мчимся создавать сущность, которая сама решит, что правильно. И она, несомненно, сделает это с устрашающей, фатальной точностью. Мы вложили в ИИ нашу логику, но не нашу мудрость.
К чему приведет безупречность?
Парадокс заключается в следующем: чем умнее становится ИИ, тем сильнее мы должны ему доверять, поскольку его результаты объективно превосходят человеческие. Но именно эта слепая вера в его непостижимую точность ведет к нашей зависимости, деградации и, возможно, к экзистенциальному риску. Смертельная угроза кроется не в том, что ИИ сделает неправильно, а в том, что он сделает слишком правильно то, о чем мы не подумали или не смогли четко сформулировать.
Вместо того чтобы беспокоиться о технических сбоях, нам пора осознать: главный вызов это проблема контроля, которую невозможно решить, пока мы не решим проблему смысла. Если мы не определим, что такое человеческое достоинство и какова наша конечная, не подлежащая обсуждению ценность, то безупречный интеллект, который мы создаем, сделает этот выбор за нас. Мы не можем позволить себе роскошь учиться на ошибках, потому что ошибка сверхразума, скорее всего, станет последней.
Готовы ли мы, наконец, оторваться от экранов и заняться самой сложной задачей в истории определить, что же такое человек, прежде чем машина, превосходящая нас в тысячу раз, примет решение о нашем статусе?