В России разработана первая в стране система защиты, которая способна отразить атаки хакеров на веб-приложения, которые построены на основе генеративного искусственного интеллекта. Разработку представили магистранты ИТМО. Об этом сообщила пресс-служба университета.
Рассказывая об актуальности разработки в ИТМО отметили, что сегодня генеративный ИИ активно используется для решения различных бизнес-задач. Однако внедрение сервисов с искусственным интеллектом повышает риски кибератак на большие языковые модели (LLM, Large language model). Например, хакеры могут манипулировать моделью, чтобы получить доступ к закрытым данным.
Решение для борьбы с подобными вмешательствами разработали студенты ИТМО вместе с ИТ-компанией Raft. Система защиты получила название HiveTrace. По словам разработчиков, за рубежом существуют аналогичные решения, однако они не адаптированы под наш рынок и язык.
«Крупные технологические компании обладают экспертизой в области защиты ИИ-систем, но существующие разработки созданы для внутренних задач и недоступны на рынке. Для остальных компаний, которые внедряют GenAI, нужны продукты для защиты ИИ», — поясняют разработчики.
Система представляет собой веб-приложение, через которое человек сможет управлять сервисами с генеративным ИИ и настраивать для каждого из них собственные правила безопасности. При этом пользователи будут проходить через своеобразный «фильтр», а подозрительные активности блокироваться.
По заявлению разработчиков, HiveTrace должна защитить от 70% наиболее критичных уязвимостей для приложений с большими языковыми моделями. Разработка должна найти применение в телеком-компаниях, в финансовых и медицинских организациях, а также ИТ-бизнесе. На данный момент команда разработчиков прорабатывает вопрос о пилотировании собственного продукта.
Ранее «Телеспутник» сообщал, что институт системного программирования Российской академии наук (ИСП РАН) и «Яндекс» начали разработку системы маркировки контента, сгенерированного ИИ. Однако, когда будет готов такой сервис-помощник, пока не сообщается.