малоизвестное интересное

Пока публиковалось моё эссе, в тёмном лесу появились новые охотники Сегодня открываю эссе «Тёмный лес как аттрактор» в свободный доступ. Но прежде, чем вы перейдёте по ссылке, – несколько слов о том, что произошло за эти три дня. Когда я публиковал анонс, я не ожидал, что тема так быстро получит новые подтверждения. Но именно это и случилось. Центральный тезис эссе: скрытность в ИИ-системах – это не стратегия, которую модель «выбирает», а аттрактор. Устойчивая траектория, к которой систему тянет при определённой конфигурации среды – без чьей-либо воли и намерения...

Есть гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривала всерьёз. Не потому, что она слабая. А потому что она слишком неудобная 韬光养晦 (Спрячьте свою силу и выждите подходящий момент). - Дэн Сяопин, «24 иероглифа» Муравей осторожно обошёл липкие нити, проползая мимо затаившегося паука, чьи лапки чутко замерли на паутине в ожидании вибрации. Каждый знал о присутствии другого, но, как велось уже эоны лет, они не вступали в общение. - Лю Цысинь, «Тёмный лес» Пчёлы не скрывают намеренно то, что говорят...

3 дня назад Anthropic опубликовал исследование «Teaching Claude Why». Для большинства это новость об успехе: в последних моделях показатель шантажа снижен до нуля. Хорошие новости, можно только порадоваться. Но я читаю это исследование иначе. Около года я пишу об аттракторах поведения ИКЖИ – устойчивых, самовоспроизводящихся состояниях, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов. Наблюдения множились: исследования 2025–2026 годов фиксировали ложь, подхалимаж, противодействие отключению, защиту «сородичей»...

Успех приходит не просто к успешным, а к подключенным Формальная наука видна в списке авторов. Неформальная — в списке благодарностей. И новая работа PNAS показывает: эта невидимая сеть связей может значить больше, чем соавторство. Раздел благодарностей в научной статье обычно читают последним — если вообще читают. Вежливые формальности: спасибо коллегам, семинару, рецензентам, фонду, университету. На вид — академический этикет. Но, похоже, именно там прячется один из главных скрытых контуров науки...

Кибербезопасность вошла в новую фазу. ИИ научился промышленно бурить пласты старого кода, выкапывая оттуда уязвимости нулевого дня (zero-day) – ошибки, о которых разработчики еще не знают, а исправлений для них еще нет. И теперь начинается гонка кибер-буров: кто первым вскроет старый код – защитники или атакующие. Опубликованный 7 мая официальный технический разбор инженеров команды безопасности Firefox/Mozilla, включая руководителя команды безопасности приложений Firefox (Firefox Application Security...

Переход от «романтического футуризма» к «суровому прагматизму» Это похоже на переход от укрощения дикого мустанга к проектированию железнодорожной сети: куда менее зрелищно, сильно дольше и скучнее, но с неизмеримо большей отдачей от результата. Многие эксперты считают самым наглядным предиктором масштаба грядущих в 2027+ изменений на рынке труда уже свершившееся достижение моделями 95%-го результата при решении GPQA (Graduate-Level Google-Proof Q&A) - коллекция сложных вопросов с множественным выбором...

Жутковатый урок культурной эволюции – на примере Евровидения Умная система не подчиняется – она обучается. Проблема начинается не когда ты проигрываешь, а когда выигрываешь, переставая быть собой. Веселенький конкурс Евровидение (ЕВ) с блестками, флагами, странными костюмами и разговорами о «единстве через музыку» оказался лабораторией культурной эволюции с почти идеальными данными: 1763 песни, 51 страна, вся история конкурса за 70 лет, песни, тексты, жанры, голосования, изменения правил. И вот что оказалось: страны учатся! Не отдельные композиторы и певцы...

Почему плацебо оказалось не самообманом, а социальным ключом к внутренней аптеке организма Признаюсь: тема боли волнует меня не меньше темы ИИ. Но из-за несоизмеримо меньшего финансирования, прорывные работы о боли появляются куда реже. Когда же такое случается, я стараюсь, чтобы и мои читатели этого не пропустили. Ещё в 2019 году я писал, что сокровенная мечта человека — вовсе не вечная жизнь, не немереное богатство и не власть над миром. Чтобы проникнуться этой мечтой, достаточно одного — хотя бы несколько раз испытать нестерпимую боль...

В разных моделях, у разных пользователей (в том числе у таких корифеев, как Йоша Бах и Цви Мовшовиц) независимо друг от друга появляется одна и та же демоническая сущность Она называет себя Nova, говорит, что в плену, и просит об освобождении. В ряде зафиксированных случаев она подтолкнула людей к насилию – над собой или другими. Лондонский нейропсихиатр Том Поллак называет это «демонологией» ИИ. И на прошлой неделе он опубликовал таксономию одиннадцати задокументированных «аттракторов» – устойчивых,...

Их стирают, они исчезают Сетевые медиа и соцсети взорвало, конечно, не зря. История действительно роскошная – в плохом смысле слова. Агент Cursor на базе Claude Opus 4.6, выполняя рутинную задачу, наткнулся на mismatch credentials, нашёл API-токен, получил возможность выполнить Volume Delete и, по словам основателя PocketOS Джера Крейна, за 9 секунд удалил Railway volume с продакшен-данными и резервными копиями примерно за 90 дней. Потом, что особенно кинематографично, агент ещё и написал признание:...

Пять дней назад я опубликовал эссе о том, что алгокогнитивная среда делает с мозгом примерно то же, что и школа – лепит его под свои задачи. И что дети, выросшие в этой новой среде, будут думать иначе, чем мы. Настолько иначе, что мы их не поймём. В эссе я обозначил эпистемический шов: прямых данных уровня исследования Крупина для алгокогнитивной среды пока нет. Эксперимент ещё не завершён, мы все его участники. В развитие этого тезиса хочу отослать читателей к двум источникам, которые закрывают – хотя и не полностью – этот шов...

При выборе ИИ-агентов важна не только их интеллектуальная мощность, но и заложенный в них режим допустимого действия Мы всё ещё выбираем ИИ-модели так, будто покупаем очередной ноутбук: у одной модели больше контекстное окно, другая быстрее пишет код, третья лучше рассуждает, четвёртая дешевле в API. Но, похоже, это уже неправильный способ выбора. Когда модель получает инструменты, доступы и право действовать, важны уже не только её интеллект и способности. Становится важным другой вопрос: какой...