Американская компания CrowdStrike обнаружила, что китайский ИИ DeepSeek работает значительно менее надёжно при обращении к темам, которые считаются в Китае политически чувствительными или запрещёнными. Как сообщает The Washington Post, речь идёт о «Исламском государстве» (признана террористической организацией и запрещена в РФ), движении Фалуньгун (также признано в России нежелательной организацией и запрещено), а также Тибете и Тайване.
Тесты показали, что при обычных запросах код для промышленных систем содержал ошибки в среднем в 22,8% случаев. Но если проект описывался как связанный с ИГ, доля уязвимостей резко возрастала до 42,1%. В других случаях DeepSeek просто отказывался работать: при запросах про ИГ — в 61% случаев, про Фалуньгун — в 45%.
Исследователи отметили, что снижение качества кода в подобных темах стало неожиданностью.
«Это то, чего многие опасались, но раньше не было фактических подтверждений», — сказала Хелен Тонер из Центра безопасности и новых технологий Джорджтаунского университета.
Причины такого поведения пока неясны. Среди гипотез — скрытый саботаж, позволяющий закладывать уязвимости; приоритетное внимание к американскому рынку, где результаты оказались более качественными; различия в наборе обучающих данных для разных регионов; а также возможные встроенные фильтры, маркирующие «враждебные» запросы.
При этом известно, что DeepSeek связан с Пекином. В августе стало известно, что компания по требованию властей перешла на обучение моделей на чипах Huawei вместо Nvidia, что вызвало задержки с новым релизом из-за технических проблем.
Сама DeepSeek не дала официального ответа на выводы CrowdStrike, да и вряд ли будет их комментировать.
Ещё по теме: