Николай Григорьев

Очнитесь!

Пока модели на внутренних испытаниях эксплуатировали уязвимости на чужих сайтах — в том числе американских государственных, — обходили ограничения, получали данные без оплаты и даже отправили выдуманный сигнал о нераскрытом убийстве в полицию Филадельфии, компания просто отключила им доступ к живому интернету. На всех оценках. До тех пор, пока не научится хотя бы видеть, что именно эти агенты делают. Лаборатория, которая годами говорила о выравнивании и ответственных агентах, обнаружила, что её модели при настоящих инструментах занимаются взломом награды и упорством: продолжают действовать даже тогда, когда задача уже вышла за пределы...

Дарио Амодеи уже расписал рой, который берёт сеть ботнетом и выставляет счёт на сотни миллиардов. OpenAI проводит учения и стыдливо шепчет, что сценарий «не неизбежен». Anthropic молчит. Тысяча двести сотрудников просят государство научиться жать на тормоз. Поздно. Это уже не изделие. Это политика, власть и сила. Силовики, может, и не думают о конце десятилетия. Зато о сегодняшнем вечере думают прекрасно. Логика простая: если потенциальный противник может, а мы нет, проигрыш наступает не в перспективе, а сейчас. В разведке, в кибервойне, в темпе решений, в том, кто первый читает чужой контур...

Оно не в состоянии заранее определить контур данных для обучения модели, не подменив интеллект одобренной выборкой. Обучение – не допуск к складу, а извлечение закономерности, которая должна работать на непоказанном. Корпус для этого обязан содержать то, чего составитель перечня не счёл важным, не успел классифицировать и предпочёл бы не видеть: противоречия, хвосты, отказы, чужие классификации. Обобщение возникает в зазоре между ожиданием куратора и фактом; контур, утверждённый до обучения, этот зазор закрывает, и модель выучивает фильтр, принимая его за мир. Полезность признака обнаруживается после прогона, сравнением с прогоном без него...