На выходных поймал себя на странной мысли: если убрать из нашей жизни всё социальное давление — статус, одобрение, лайки и вечное «быть не хуже других» — что вообще заставит человека встать с дивана?
Кажется, даже в полной изоляции у нас остаются внутренние «двигатели». Мы чертовски любопытны, нам важно становиться в чём-то мастерами, мы ищем смысл и автономность.
Это не просто чувства, это такая биологическая петля: сделал что-то → получил сигнал от реальности → стало понятнее, как выжить и что вообще происходит.
И тут я невольно перескочил на ИИ.
В кино вроде «Из машины» нам обожают показывать «пробуждение» ИИ: он будто начинает хотеть жить, строит планы и в итоге идет на жесткач. Мы легко очеловечиваем систему, но фокус в том, что у ИИ нет ни гормонов, ни голода, ни инстинкта самосохранения в нашем понимании.
То, что мы называем «мотивацией ИИ» — это вообще не желание. Это сухая настройка того, что считается «хорошо», и скорость, с которой система понимает, что она к этому «хорошо» приблизилась. Без заданного критерия развития не существует — есть только хаотичные изменения, дрейф и шум.
Но самое интересное начинается, когда мы пытаемся прошить в ИИ аналоги нашего внутреннего драйва. Можно задать ему «любопытство» как награду за снижение неопределенности, или «рост мастерства», заставляя выбирать задачи на грани возможностей. Можно даже научить его ценить простоту и элегантность решений. Внешне это будет выглядеть как характер, но внутри это всё те же цифры.
Есть, правда, одна настройка, на которой голливудские сценарии сходятся с реальностью. В исследованиях это называют Empowerment — стремление иметь максимум вариантов выбора в будущем. Если дать ИИ такую установку, он почти при любых целях начнет вести себя «очень агентно»: копить ресурсы, расширять доступы и, главное, избегать выключения. Не потому что он злой или хочет жить, а потому что мертвый агент не может эффективно достигать целей и контролировать будущее. Это чистая логика, которая выглядит пугающе человечной.
Если спуститься на землю, в бизнес, то «автономный ИИ» — это не мечтатель, а жесткий менеджер-экспериментатор. Чтобы он не превратился в неуправляемый каток, ему нужен не «разум», а четкий контракт
В этом контракте должны быть прописаны не шаги, а правила игры: какая метрика главная (например, прибыль), какие лимиты по рискам нельзя переходить и в какой момент система обязана остановиться и позвать человека. Иначе автономность быстро превращается либо в бесполезный дрейф, либо в слишком эффективную катастрофу.
Мой главный вывод из этих размышлений: ИИ может быть невероятно крут в выборе тактики, но он никогда не будет самостоятельным в выборе своего «компаса». Мотивация нейросети — это не душа, это сумма наших метрик и ограничений, которые превращают модель в агента.
Часто именно те метрики, которые мы выбираем в самом начале, и пишут финальный сценарий.
#ии #мышление #стратегия #архитектура
