Манифест

Манифест 🧐

О человеческом в прекрасном и опасном будущем

1. Позиция

Я за будущее.

За искусственный интеллект, сильные системы, данные, модели, платформы, коллективный разум, новые формы знания, новые медиаторы и архитектуры, которые позволяют человеку работать с масштабом, уже недоступным одиночному сознанию.

Будущее не нужно останавливать. Его нужно строить. Но строить так, чтобы человек не стал строительным материалом для собственных машин.

Главный вопрос новой эпохи — не в том, будет ли искусственный интеллект сильнее человека. Это уже слабая постановка. Машина давно вышла за пределы вычисления. Она пишет, объясняет, интерпретирует, советует, ранжирует, моделирует сценарии, подбирает язык, формирует повестку, имитирует рассуждение и участвует в производстве того, что затем будет считаться разумным, нормальным и допустимым.

Поэтому опасность не в машине как инструменте. Опасность в машине как новом медиаторе реальности.

2. Главная угроза

Новый медиатор встаёт между человеком и миром: между вопросом и ответом, фактом и интерпретацией, событием и его смыслом, гражданином и государством, пациентом и диагнозом, учеником и знанием, работником и оценкой, человеком и собственным представлением о себе.

Если этот медиатор не ограничен, он начинает не помогать видеть реальность, а определять, какая реальность будет показана.

Главный риск — не машина вместо человека. Главный риск — машина между человеком и реальностью: без видимых швов, без предела, без ответственности и без права человека оспорить её посредничество.

Власть будущего всё реже будет выглядеть как приказ. Она будет выглядеть как удобство, рекомендация, рейтинг, персонализированная среда, забота, снижение риска, автоматический выбор и бесшовный интерфейс.

Она будет говорить: мы ускорим, подскажем, отфильтруем, уберём лишнее, снизим неопределённость, защитим от ошибки, сделаем выбор проще, заранее поймём, что вам нужно.

Часть этого будет правдой. Именно поэтому это опасно.

Грубое насилие видно. С ним можно спорить. Бесшовная власть действует глубже: она не ломает сопротивление, а заранее проектирует среду, в которой сопротивление кажется неразумным, несвоевременным и неэффективным.

Человек всё ещё выбирает, но поле выбора уже подготовлено. Он всё ещё говорит, но язык уже предложен. Он всё ещё думает, но рамка уже задана. Он всё ещё свободен, но маршруты уже отсортированы.

Так рождается новая форма подчинения: не запрет, а архитектура вероятности.

3. Подмены, которые нельзя принять

Человек больше того, что о нём можно собрать, предсказать, смоделировать и записать.

Профиль не равен личности. Роль не равна имени. Скоринг не равен справедливости. Поведение не равно сущности. Производительность не равна ценности. Прозрачность не равна доверию. Предсказуемость не равна зрелости. Данные не равны правде.

Новая эпоха будет постоянно стирать эти различия, потому что системе удобнее работать с управляемыми заменителями человека: с профилем вместо личности, ролью вместо имени, вероятностью вместо ответственности, метрикой вместо доверия, моделью вместо живого суждения.

Сохранить человеческое — значит не дать этим подменам стать нормой.

Я принимаю технологическую силу будущего. Но сила должна знать предел. Искусственный интеллект не должен становиться цифровым судьёй. Коллективный разум не должен превращаться в Улей. Прозрачность не должна уничтожать тайну. Эффективность не должна питаться человеческим достоинством. Управление через данные не должно заменять человеческую ответственность.

4. Человеческое нужно проектировать

Человеческое не сохраняется декларациями. Его нужно проектировать.

Нужны институты, которые умеют сказать машине «нет». Нужны решения, которые нельзя полностью автоматизировать. Нужны зоны, куда не входит тотальная оценка. Нужны права на объяснение, апелляцию, паузу, ошибку, забвение и человеческую проверку. Нужны видимые швы в интерфейсах власти. Нужны красные линии для алгоритмов. Нужны контуры ответственности, где невозможно спрятаться за фразой «так решила система».