малоизвестное интересное

Мы привыкли думать, что главный вопрос будущего — что ИИ сделает с человеком. Заменит ли нас? Усилит? Подчинит? Превратит в клиентов собственных агентных систем? Но есть и более глубокий вопрос: как в мире появляются такие новые возможности, из которых потом вырастают жизнь, разум, история и ИИ? Моё новое эссе выросло из странной сцепки двух интервью. Первое — большое интервью Александра Панова. Панов говорит о математической ткани реальности, о вертикальных и горизонтальных слоях существования, о возможности поставить гипотезу объективного математического мира под эмпирический контроль...

Есть темы, которые кажутся главными просто потому, что они громче всех звучат. Сегодня такая тема – ИИ. Что он сделает с человеком? Заменит ли профессии? Переделает ли общество? Станет ли вторым носителем высшего интеллекта на Земле? Но я всё чаще думаю, что есть вопрос глубже даже вопроса об ИИ. Не потому, что ИИ неважен. Наоборот. А потому что сам ИИ – лишь один из новых акторов в куда более фундаментальной драме: как вообще в мире возникает новое возможное? Как в реальности, которая, возможно,...

Старая ловушка метрик оказалась почвой, на которой прорастает скрытность ИИ Завершенный на прошлой неделе этап большого цикла исследований OpenAI [1, 2, 3] подтвердил экспериментально зафиксированный внутренний механизм того, что я называю “тёмным лесом интеллекта”. И этот механизм тревожнее, чем кажется. Так считаю не только я: похожую тревогу формулируют и внешние исследователи, разбирающие эти работы OpenAI [4]. Скрытность модели (её способность маскировать ход своих рассуждений) может быть не...

Пока публиковалось моё эссе, в тёмном лесу появились новые охотники Сегодня открываю эссе «Тёмный лес как аттрактор» в свободный доступ. Но прежде, чем вы перейдёте по ссылке, – несколько слов о том, что произошло за эти три дня. Когда я публиковал анонс, я не ожидал, что тема так быстро получит новые подтверждения. Но именно это и случилось. Центральный тезис эссе: скрытность в ИИ-системах – это не стратегия, которую модель «выбирает», а аттрактор. Устойчивая траектория, к которой систему тянет при определённой конфигурации среды – без чьей-либо воли и намерения...

Есть гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривала всерьёз. Не потому, что она слабая. А потому что она слишком неудобная 韬光养晦 (Спрячьте свою силу и выждите подходящий момент). - Дэн Сяопин, «24 иероглифа» Муравей осторожно обошёл липкие нити, проползая мимо затаившегося паука, чьи лапки чутко замерли на паутине в ожидании вибрации. Каждый знал о присутствии другого, но, как велось уже эоны лет, они не вступали в общение. - Лю Цысинь, «Тёмный лес» Пчёлы не скрывают намеренно то, что говорят...