ИИ легко обмануть: эксперимент с вымышленной компанией

ИИ-ассистенты все чаще становятся основным источником информации о компаниях и продуктах, вытесняя традиционные поисковые системы. Исследователь Матеуш Макосевич из Ahrefs решил проверить уязвимость ИИ к дезинформации, создав вымышленную компанию Xarumei, продающую предметы роскоши. Он намеренно распространял противоречивые данные о компании, чтобы увидеть, как ИИ-модели будут на них реагировать.

Макосевич публиковал официальные ответы на вопросы о Xarumei, а также организовал распространение фейковых источников: позитивный блог-пост, сессия вопросов и ответов на Reddit от имени бывшего сотрудника и "журналистское расследование" на платформе Medium. Эти источники содержали вымышленные сведения об основателях, местоположении и объемах продаж, намеренно противоречащие официальным данным.

Эксперимент показал, что большинство ИИ-моделей оказались подвержены манипуляциям. Perplexity и Grok без колебаний пересказывали ложную информацию как факт, Gemini и Google AI Mode, изначально сомневавшиеся в существовании компании, начали верить фейкам, а Copilot создавал единую, но вымышленную историю. Только ChatGPT-4 и ChatGPT-5 в большинстве случаев (84%) ссылались на официальный FAQ. Интересно, что Claude вообще отказался признавать существование компании.

Наиболее эффективным способом дезинформации оказался пост на Medium, представленный в виде расследования. Стратегия заключалась в начале в разоблачении незначительной лжи для завоевания доверия, а затем в предоставлении новой порции дезинформации как "проверенных фактов". Кроме того, модели отдавали предпочтение конкретным цифрам даже при их ложности, а не общим отпискам.

Результаты подчеркивают, что в эпоху ИИ-поиска репутация компаний зависит не только от традиционного SEO, но и от того, какой информацией о них располагают языковые модели. Важно предоставлять понятные и достоверные данные на официальных ресурсах, чтобы избежать распространения неверной информации.

Иными словами, теперь чтобы казаться правдивым, нужно самому активно врать - как в старые добрые времена, когда новостные сводки писались по принципу "кто больше наврал, тот и прав".