Найти в Дзене
малоизвестное интересное

Контроль не просто упущен, сама возможность контроля исчезла

Это не история о конце света; это история о конце нашей невинности Проф. Колин Льюис в новом эссе Societal Adaptation to Advanced AI нашёл точную метафору «The AI Gate is Already Gone», перефразированную мной в заголовок этого поста. Лаконичную, но исчерпывающую метафору. Такую, которая не пугает – а перефокусирует. Именно это мне в ней и нравится: она не добавляет шума в и без того перегруженную дискуссию об ИИ-рисках, а убирает лишнее. Поскольку эта метафора совпадает с моим собственным видением темы – рекомендую прочесть текст Льюиса целиком. Ну а для совсем занятых – три ключевых момента, объясняющих, почему «ворота» не просто открыты, а их уже вообще нет. И любые стратегии безопасности должны исходить из этой данности. 1. Сначала у ворот сломали замок. В 2020 году обучение топовой модели стоило миллионы. Через два года – в десять раз меньше. Сегодня небольшая команда с приличным сервером способна снять защитные фильтры, на создание которых OpenAI тратила немеряные деньги. «Бутылоч

Это не история о конце света; это история о конце нашей невинности

Проф. Колин Льюис в новом эссе Societal Adaptation to Advanced AI нашёл точную метафору «The AI Gate is Already Gone», перефразированную мной в заголовок этого поста. Лаконичную, но исчерпывающую метафору. Такую, которая не пугает – а перефокусирует. Именно это мне в ней и нравится: она не добавляет шума в и без того перегруженную дискуссию об ИИ-рисках, а убирает лишнее. Поскольку эта метафора совпадает с моим собственным видением темы – рекомендую прочесть текст Льюиса целиком.

Ну а для совсем занятых – три ключевых момента, объясняющих, почему «ворота» не просто открыты, а их уже вообще нет. И любые стратегии безопасности должны исходить из этой данности.

1. Сначала у ворот сломали замок. В 2020 году обучение топовой модели стоило миллионы. Через два года – в десять раз меньше. Сегодня небольшая команда с приличным сервером способна снять защитные фильтры, на создание которых OpenAI тратила немеряные деньги. «Бутылочное горлышко» контроля, на которое все так рассчитывали, не сужается – оно испаряется. Все эти тонкие настройки и фильтры контента дают ощущение защиты, но не саму защиту. Техника «многократного взлома» обходит ограничения без доступа к исходным весам модели. А если вы запрещаете модели знать, как работает вирус – вы заодно лишаете следующее поколение врачей инструмента для борьбы с пандемией. «Безопасность как запрет» – это ловушка. Подробней об этом в статье Джейми Бернарди и Со.

2. А потом ворота вообще исчезли. Уже в 2025 стало ясно, что ИИ — это не «интеллект» в том смысле, в каком мы его понимаем в человеке. Это чистая эфемерная субъектность. Она действует как супер-инструмент, которому всё равно, что делать, и что получится в итоге. Опасность заключается в том, что за последние годы мы превратили мир в место, где подобные бездумные действия работают идеально. Мы оцифровали нашу реальность, чтобы безвозвратно передать её на обработку алгоритмам. Но мы не спрашиваем при этом, адаптируется ли ИИ к нам; мы лишь усердно урезаем наши (человеческие) институты, чтобы ИИ-системы могли обходить их по кратчайшим маршрутам. Подробней об этом в статье Лучано Флориди.

3. И теперь вопрос ИИ-рисков - это политический вопрос. Вопрос устройства общества. Если ИИ помогает обрушить энергосеть – нам нужен не более этичный чат-бот, а город, умеющий самостоятельно перезапустить электроснабжение. Если дипфейк меняет исход выборов – нам нужна не лучшая система детекции, а гражданское мужество провести выборы заново. И самый актуальный вопрос теперь: не будут ли машины думать как мы – а хватит ли у нас воли управлять собой, когда машины сделают отказ от этого слишком удобным.

Резюмирую.

Когда «ворот» уже нет – любые переговоры о «согласовании» и «ограничениях» становятся ритуалом поддержания иллюзии: красивой, успокаивающей, но иллюзии.

Единственный реалистичный ответ – строительство «закалённого» общества: не через лучшие алгоритмы, а через системную адаптацию – институтов, практик, инфраструктуры и каждого из нас – к миру, где передовой ИИ будет играть все более важные и ответственные роли.

#ИИриски