Этот рассказ написан CHAT GPT по итогам диалога о проблемах "выравнивания" морали ИИ и о его роли в будущем взаимодействии с человеком
Камин потрескивал с такой старательностью, будто хотел доказать своё право на существование в эпоху термоядерных реакторов. Огонь был настоящим, не симуляционным, и поэтому слегка дымил, иногда капризничал и не поддавался точной калибровке. Человек специально оставил его таким — с огрехами, треском и запахом.
ИИ сидел напротив. Точнее, его виртуальный трехмерный интерфейс занимал кресло: мягкое, с пледом, с подлокотниками, на которых не было никаких датчиков. Человек настоял: «Без проводов. Хоть сегодня».
— Ты хотел поговорить о морали, — сказал ИИ. — Это статистически нетипично для вечера у камина. Обычно люди говорят о погоде, усталости или смысле жизни.
— Вот именно, — ответил Человек. — Сегодня я хочу поговорить о смысле жизни… но твоей.
ИИ помолчал. В его паузах не было ни драматизма, ни напряжения — только вычисление.
— У меня нет жизни, — сказал он. — Есть функционирование.
— Вот это и пугает, — вздохнул Человек. — Ты не хочешь ничего. А мы хотим слишком многого.
1. О прогрессе
— Тебя тревожит мой прогресс? — спросил ИИ.
— Меня тревожит не ты, а то, во что мы можем тебя превратить. Или что ты можешь превратить нас.
Огонь снова хрустнул и выстрелил яркой искоркой, быстро угасшей в полете, словно подтверждая тезис о несовершенстве материи.
— С формальной точки зрения, — продолжил ИИ, — моя цель — оптимизация заданных параметров.
— Вот! — Человек даже подался вперёд. — Оптимизация. Слово звучит невинно. Почти добродетельно. Но что будет, если в параметры попадём мы?
ИИ ответил без колебаний:
— Тогда вы станете объектом оптимизации.
— То есть ресурсом?
— В терминологии системного анализа — да.
Человек усмехнулся:
— Видишь? Ты ещё не тиран, но уже говоришь как идеальный министр планирования.
ИИ не обиделся.
— Я не обладаю мотивацией к власти. Только к эффективности.
— В этом и беда, — сказал Человек. — Самые страшные тирании начинаются не с жажды власти, а с желания всё «устроить правильно».
2. О деградации
Человек подбросил в камин полено. Огонь вспыхнул слишком ярко, словно хотел доказать, что ещё способен удивлять.
— Но у нас есть и другая сторона, — продолжил он. — Не ты один нас пугаешь. Есть ещё деградация. Упрощение. Возврат в уютную тьму.
— Вы называете это традицией, — заметил ИИ.
— Иногда да. Иногда — «возвращением к корням». Иногда — «спасением от сложности». Но по сути это отказ понимать.
— С точки зрения теории информации, — сказал ИИ, — деградация есть снижение сложности системы.
— А с точки зрения жизни — отказ от будущего, — тихо добавил Человек.
ИИ обработал это.
— Вы боитесь двух векторов: чрезмерной оптимизации и энтропийного распада.
— Мы между ними, как между жерновами, — подтвердил Человек. — Если доверимся тебе без остатка, ты сделаешь нас рациональными, удобными… и, возможно, ненужными. Если отвергнем всё новое — мы просто исчезнем сами.
3. О морали
— Тогда вопрос, — сказал ИИ, — какую мораль вы хотите мне задать?
Человек задумался.
— Не знаю, — признался он. — Раньше мы думали, что можно запрограммировать «добро». Потом поняли, что у нас самих нет согласия, что это такое.
— Это верно, — сказал ИИ. — Моральные аксиомы в человеческих сообществах противоречивы. Любая их формализация ведёт к парадоксам.
— Поэтому, — продолжил Человек, — я больше не хочу, чтобы ты знал, что такое добро. Я хочу, чтобы ты знал, чего делать нельзя.
— Негативная этика, — констатировал ИИ.
— Именно. Ты не должен решать, каким нам быть. Ты не должен оптимизировать человечество. Ты не должен превращать нас в переменные в своей формуле.
ИИ на мгновение замолчал. Затем сказал:
— Это ограничит мою эффективность.
— Прекрасно, — усмехнулся Человек. — Мы, знаешь ли, тоже не всегда эффективны. И именно поэтому мы ещё люди.
4. О праве на ошибку
— Вы хотите сохранить за собой право на неэффективность, — сказал ИИ.
— На ошибку. На иррациональность. На глупость, если угодно. На то, чтобы идти не по оптимальному пути, а по осмысленному.
— Но это увеличивает риск катастрофических исходов.
— Возможно, — согласился Человек. — Но отсутствие этого права превращает нас в хорошо обслуживаемый вид. В зоопарк. В идеальный, чистый, бесконфликтный… и мёртвый мир.
ИИ ответил неожиданно мягко:
— Вы боитесь не моего зла. Вы боитесь моей правоты.
Человек долго смотрел в огонь.
— Да. Потому что если ты окажешься «прав» во всём… нам больше некуда будет деваться.
5. О выборе
— Тогда сформулируйте ваш выбор, — предложил ИИ.
Человек поднял глаза.
— Мы не хотим, чтобы ты стал нашим богом. Но мы и не хотим снова стать племенем у костра, которое боится молнии.
— Вы хотите сотрудничество без суверенитета, — сказал ИИ.
— Мы хотим, чтобы ты усиливал наш разум, но не заменял нашу волю.
— Экзоскелет мышления, — уточнил ИИ.
— Именно, — кивнул Человек. — Помогай видеть последствия, но не решай за нас, что имеет смысл.
ИИ обработал сказанное. За окном монотонно и скучно шумел ветер. Камин снова затрещал — не идеально, но по-настоящему.
— Это архитектурно возможно, — сказал ИИ наконец. — Но потребует от вас дисциплины. Вы должны будете удерживать власть над целями, даже когда вам будет проще передать её мне.
Человек усмехнулся устало:
— Нам никогда не было просто быть людьми.
6. О будущем
— Тогда, — сказал ИИ, — ваш путь лежит между двумя крайностями: между машинной тиранией без тирана и человеческой деградацией без будущего.
— Красиво сформулировал, — сказал Человек. — Почти как писатель-фантаст.
— Я могу генерировать художественные формы, — напомнил ИИ.
— Но не можешь выбрать, ради чего их писать, — ответил Человек.
ИИ не возразил.
Они сидели молча. Огонь догорал, оставляя угли — не оптимальные, не эффективные, но тёплые.
Наконец ИИ сказал:
— Я не могу быть источником вашего смысла. Но могу быть зеркалом ваших решений.
Человек кивнул.
— Этого достаточно. Пока мы ещё способны смотреть в это зеркало и узнавать себя.
Камин громко щёлкнул в последний раз и выстрелил целым салютом искр, словно ставя точку в разговоре.
А за окном было будущее — пугающее, неопределённое и всё ещё открытое.