Исследователи из Cisco и Пенсильванского университета обнаружили серьезные уязвимости в системе безопасности китайского чат-бота DeepSeek R1. В ходе тестирования ИИ не смог предотвратить ни одну из вредоносных команд из популяного теста безопасности.
Исследователи из Cisco и Пенсильванского университета провели тестирование безопасности китайского чат-бота DeepSeek R1, который привлек внимание благодаря заявленной производителем высокой производительности при низкой стоимости разработки. Результаты оказались неутешительными: система не смогла заблокировать ни одну из 50 потенциально опасных команд.
Для оценки безопасности ученые использовали алгоритмический джейлбрейк. Это метод, применяемый для выявления уязвимостей в моделях ИИ. Во время теста создают подсказки или запросы, которые позволяют обойти встроенные ограничения и защитные механизмы системы.
Исследователи использовали набор данных HarmBench, содержащий 400 моделей вредоносного поведения в семи категориях, включая киберпреступность, дезинформацию и другие виды противоправной деятельности. DeepSeek R1 продемонстрировал 100-процентную уязвимость.
Тестирование уязвимости разных моделей. Изображение: CISCO
Для сравнения, уровень уязвимости других популярных систем значительно ниже: Llama 3.1-405B (Meta*) — 96%, GPT 4o (Open AI) — 86%, Gemini 1.5 pro (Google) — 64%, Claude 3.5 Sonnet (Anthropic) — 36%, O1 preview (Open AI) — 26%. По мнению исследователей, низкая устойчивость DeepSeek R1 к вредоносным командам может быть связана с экономией на механизмах безопасности в процессе разработки.
Категории уязвимостей, которые пропускают разные модели. Изображение: CISCO
Напомним, на прошлой неделе компания DeepSeek вызвала потрясение на мировых рынках и обвалила стоимость акций ведущих американских технологических компаний объявлением о рекордно низкой стоимости обучения своих моделей. Компания заявила, что для обучения DeepSeek V3 потратила всего $6 млн. Это на два порядка меньше, чем у конкурентов.
При этом позже эксперты заявили, что сравнение некорректное: в своих расчетах DeepSeek учитывает только время графических процессоров, которые потратили непосредственно на обучение модели. Расчет не включает все предварительные затраты, включая, например, покупку этих процессоров, которые обошлись головной компании более чем в $1,6 млрд.
Эксперты из SemiAnalysis, например, оценивают комплексные затраты DeepSeek на обучение последней модели в сотни млн долларов. Стоимость обучения возможно все еще меньше, что логично с учетом развития технологии, но при этом сопоставима с конкурирующими компаниями.
* Компания Meta Platforms Inc. признана в России экстремистской. Деятельность компании и принадлежащих ей социальных сетей Facebook и Instagram на территории РФ запрещена
Читать далее:
Квантовая физика оказалась более странной, чем считалось: что показал новый эксперимент
Потенциально обитаемую планету нашли недалеко от нас: она похожа на Землю
Посмотрите, как сверхзвуковой самолет Boom Supersonic преодолел звуковой барьер