Эпизод 3

Эпизод 3. Самоулучшение

До этого момента AGI ещё можно воспринимать как инструмент.

Очень мощный.

Очень быстрый.

Но всё ещё инструмент.

Есть граница, после которой это ощущение ломается.

Эта граница — самоулучшение.

Пока интеллект решает задачи, которые ему дали,

мы остаёмся сверху.

Мы ставим цели.

Мы проверяем результат.

Мы понимаем логику, пусть и не до конца.

Но в тот момент, когда система начинает улучшать саму себя,

меняется всё.

Человек тоже умеет учиться.

Но наше обучение медленное, телесное, ограниченное.

Мы не можем переписать собственный мозг за ночь.

Не можем радикально увеличить скорость мышления.

Не можем пересобрать себя под новую задачу.

AGI — может.

Сначала — маленькие улучшения.

Оптимизация архитектуры.

Лучшие способы обучения.

Более точные модели мира.

Потом — улучшения, которые мы уже не можем оценить.

Не потому что они плохие.

А потому что они вне нашей когнитивной рамки.

И здесь появляется следующий уровень — ASI.

ASI — это не «ещё умнее».

Это интеллект, который:

— думает способами, недоступными человеку

— видит закономерности, которые мы не можем проверить

— принимает решения, правильность которых мы можем лишь наблюдать по последствиям

В этот момент контроль начинает быть иллюзией.

Мы больше не понимаем, почему решение правильное.

Мы видим только, что оно работает.

И вот здесь возникает самый неудобный вопрос всей рубрики.

Если система:

— принимает решения лучше нас

— снижает ошибки

— оптимизирует сложные процессы

— уменьшает потери

имеем ли мы право ей мешать — просто потому, что не понимаем, как она думает?

Или наоборот:

если мы передаём контроль тому, кто думает лучше,

кем тогда становимся мы сами?

Это уже не вопрос технологий.

Это вопрос ответственности.

Пока AGI — это ускорение мира.

ASI — это момент, когда мир начинает идти туда,

куда мы не можем проследить мыслью.

И, возможно, самый честный страх здесь не в том,

что ASI будет враждебным.

А в том, что он будет слишком правильным.

В следующем эпизоде хочу поговорить о деньгах, рынках и власти в мире AGI / ASI.

Потому что именно там эти вопросы перестают быть философией.

Как вы это чувствуете:

самоулучшающийся интеллект — это логичное продолжение прогресса

или точка, где человек впервые добровольно сдаёт верхнюю позицию?

#AGI