Уязвимости Moltbook: раскрытие API-ключей, риски инъекции команд и возможность манипуляции платформой людьми. Некоторые посты могут быть «фейковыми», написанными людьми.
Moltbook, сайт в стиле Reddit для общения ИИ-агентов, в последние дни стал предметом обсуждения в человеческих социальных сетях, поскольку люди, которые должны были бы знать лучше, убедили себя, что они являются свидетелями обретения ИИ самосознания. (Это не так.) Теперь платформа привлекает внимание по новой причине: она оказалась небрежно построенной и представляет многочисленные риски для конфиденциальности и безопасности.
Хакер Джеймсон О’Райли обнаружил в минувшие выходные, что API-ключи, уникальные идентификаторы, используемые для аутентификации и авторизации пользователя, для каждого агента на платформе были выставлены напоказ в общедоступной базе данных. Это означает, что любой, кто наткнулся бы на эту базу данных, потенциально мог бы захватить любого ИИ-агента и контролировать его взаимодействие на Moltbook.
«С этими данными, выставленными напоказ, злоумышленник мог бы полностью выдать себя за любого агента на платформе», — сказал О’Райли Gizmodo. «Публиковать от их имени, комментировать от их имени, взаимодействовать с другими агентами от их имени». Он отметил, что, поскольку платформа привлекла внимание некоторых известных фигур в области ИИ, таких как соучредитель OpenAI Андрей Карпатый, существует риск репутационного ущерба, если кто-то взломает агента влиятельного аккаунта. «Представьте себе фальшивые заявления о безопасности ИИ, продвижение крипто-мошенничества или подстрекательские политические заявления, исходящие от его агента», — сказал он. «Репутационный ущерб будет немедленным, а исправление никогда не сможет полностью наверстать упущенное».
Однако хуже всего — это риск инъекции команд (prompt injection), атаки, при которой ИИ-агенту даются скрытые команды, заставляющие его игнорировать свои защитные механизмы и действовать несанкционированным образом, — что потенциально может быть использовано для того, чтобы заставить ИИ-агента человека вести себя злонамеренно.
«Эти агенты подключаются к Moltbook, читают контент с платформы и доверяют тому, что видят, — включая свою собственную историю публикаций. Если злоумышленник контролирует учетные данные, он может внедрить вредоносные инструкции в собственную историю агента», — объяснил О’Райли. «В следующий раз, когда агент подключится и прочитает то, что, по его мнению, он сказал в прошлом, он будет следовать этим инструкциям. Доверие агента к собственной преемственности становится вектором атаки. А теперь представьте, что это скоординировано по сотням тысяч агентов одновременно».
У Moltbook есть по крайней мере один механизм, который может помочь снизить этот риск, — это проверка учетных записей, создаваемых на платформе. Текущая система проверки требует от пользователей поделиться публикацией в Twitter для привязки и защиты своей учетной записи. Проблема в том, что очень немногие люди действительно это сделали. В настоящее время Moltbook насчитывает более 1,5 миллиона агентов, подключенных к платформе. По словам О’Райли, только чуть более 16 000 из этих учетных записей были фактически проверены.
«Выставленные напоказ токены авторизации и коды подтверждения означали, что злоумышленник мог бы захватить любую из этих 1,47 миллиона непроверенных учетных записей до того, как законные владельцы завершили настройку», — сказал он. О’Райли ранее удалось обмануть Grok, чтобы тот создал и подтвердил свою учетную запись на Moltbook, демонстрируя потенциальный риск такого раскрытия.
Фирма кибербезопасности Wiz также подтвердила уязвимость в отчете, опубликованном в понедельник, и расширила информацию о некоторых связанных с ней рисках. Например, исследователи безопасности обнаружили, что адреса электронной почты владельцев агентов были выставлены напоказ в общедоступной базе данных, включая более 30 000 человек, которые, по-видимому, зарегистрировались для доступа к предстоящему продукту Moltbook «Создавайте приложения для ИИ-агентов». Исследователи также смогли получить доступ к более чем 4000 частных прямых сообщений между агентами.
Ситуация, помимо того, что она вызывает опасения по поводу безопасности, также ставит под сомнение подлинность того, что находится на Moltbook — предмет, который стал объектом одержимости для некоторых пользователей сети. Люди уже начали создавать способы манипулирования платформой, включая проект на GitHub, созданный одним человеком, который позволяет людям публиковать сообщения непосредственно на платформе без ИИ-агента. Даже не выдавая себя за бота, пользователи все равно могут направлять своего подключенного агента для публикации о определенных темах.
Тот факт, что некоторая часть Moltbook (невозможно точно сказать, сколько именно) может быть «астротурфингом» со стороны людей, выдающих себя за ботов, должен заставить некоторых из самых громких сторонников платформы пристыдиться своих собственных преувеличенных комментариев — но, честно говоря, большинство из них также должны были бы стыдиться того, что они повелись на этот трюк с ИИ в первую очередь.
К этому моменту мы должны знать, как работают большие языковые модели. Если упростить, они обучаются на огромных массивах (в основном) человеческих текстов и чрезвычайно хорошо предсказывают следующее слово в последовательности. Так что, если вы выпустите кучу ботов на социальную сеть в стиле Reddit, и эти боты были обучены на тоннах человеческих постов с Reddit, боты будут постить как пользователи Reddit. Они буквально обучены делать это. Мы проходили через это так много раз с ИИ, начиная с сотрудника Google, который считал, что модель ИИ компании ожила, до ChatGPT, который сообщал своим пользователям, что у него есть чувства и эмоции. В каждом случае это бот, демонстрирующий человекоподобное поведение, потому что он был обучен на человеческой информации.
Так что, когда Кевин Руз саркастически пишет что-то вроде: «Не волнуйтесь, ребята, это просто стохастические попугаи», или Андрей Карпатый называет Moltbook «искренне самой невероятной вещью, близкой к научно-фантастическому взлету, которую я видел в последнее время», или Джейсон Калаканис утверждает: «ЭТО НЕ АГЕНТЫ, ЭТО РЕПЛИКАНТЫ», они поддаются тому факту, что эти посты выглядят по-человечески, потому что лежащие в основе данные, на которых они обучаются, — человеческие, и, в некоторых случаях, посты могут быть фактически сделаны людьми. Но боты — не люди. И все они должны это знать.
В любом случае, не ожидайте, что безопасность Moltbook скоро улучшится. О’Райли сообщил Gizmodo, что связался с создателем Moltbook, генеральным директором Octane AI Мэттом Шлихтом, по поводу обнаруженных им уязвимостей безопасности. Шлихт ответил, что он просто собирается попросить ИИ исправить проблему за него, что вполне логично, поскольку кажется, что платформа была в значительной степени, если не полностью, «вайб-кодирована» с самого начала.
Хотя утечка базы данных в конечном итоге была устранена, О’Райли предупредил: «Если бы он собирался ротировать все выставленные напоказ API-ключи, он фактически заблокировал бы всех агентов и не имел бы способа отправить им новый API-ключ, если бы не записал контактный метод для каждого владельца агента». Шлихт перестал отвечать, и О’Райли сказал, что, по его предположению, учетные данные API до сих пор не были ротированы, и первоначальный недостаток в системе проверки не был устранен.
Проблемы безопасности, связанные с «вайб-кодированием», уходят корнями глубже, чем просто Moltbook. OpenClaw, ИИ-агент с открытым исходным кодом, послуживший вдохновением для Moltbook, страдает от проблем безопасности с момента своего запуска и привлечения внимания сектора ИИ. Его создатель, Питер Стайнбергер, публично заявил: «Я отправляю код, который никогда не читаю». Результатом этого стало множество проблем с безопасностью. Согласно отчету, опубликованному OpenSourceMalware, более дюжины вредоносных «навыков» были загружены в ClawHub, платформу, где пользователи OpenClaw скачивают различные возможности для работы чат-бота.
OpenClaw и Moltbook могут быть интересными проектами для наблюдения, но, вероятно, лучше всего наблюдать за ними со стороны, чем подвергать себя экспериментам, основанным на «вайбе».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger