10 млн рублей на защиту ИИ-систем: стартап-студия МФТИ поддержала разработку «ХайвТрейс»

Конкурентное преимущество

Стартап студия МФТИ специализируется на инвестировании в DeepTech, BioTech, AI и другие перспективные проекты с фаундерами из МФТИ. Программа призвана повысить количество и качество социальных проектов физтехов, а также через практику дать студентам предпринимательские навыки.

Решение «ХайвТрейс» обеспечивает мониторинг и защиту ИИ‑систем в режиме реального времени, с фокусом на предотвращение промпт‑атак, утечек данных и неэтичного поведения ИИ‑агентов. Инициатива поможет снизить репутационные, юридические и финансовые риски при эксплуатации ИИ‑технологий, что особенно актуально в контексте широкого внедрения больших языковых моделей (LLM). Пока проект проходит пилотирование на российском рынке в финансовом, промышленном и телеком‑секторах, а также среди GenAI‑стартапов.

Это важный этап для российской IT‑отрасли. Он ведёт к повышению устойчивости к угрозам безопасности ИИ, создаёт конкурентное преимущество и является шагом к формированию национальных стандартов. Кроме того, защита ИИ‑систем, особенно в финансах и коммуникациях, способствует повышению доверия, сохранности данных и снижению рисков ошибок. Несмотря на то, что решение локальное, тренд на ИИ‑безопасность выходит на глобальный уровень. Кейс может стать примером для подобных инициатив во всём мире.

Евгений Кокуйкин - генеральный директор ООО «ХайвТрейс», руководитель AI Security лаборатории ИТМОРоссийские компании еще в начале пути по внедрению ИИ в бизнес-процессы, но со временем необходимость в защите ИИ-решений только увеличится. Крупные технологические компании обладают экспертизой в области защиты ИИ-систем, но существующие разработки созданы для внутренних задач и недоступны на рынке. Для остальных компаний, которые внедряют GenAI, нужны продукты для защиты ИИ

Глобально востребованный продукт

Технология таргетирована на российский рынок, однако концептуально её можно адаптировать и экспортировать в страны с развитыми ИИ‑экосистемами, особенно в рамках трансграничного сотрудничества с GenAI‑стартапами.

Появление продукта с проверкой безопасности ИИ в реальном времени востребовано глобально, особенно в финансовых и телеком‑секторах, где высок уровень регуляций и рисков.

Проект обладает и внутренним потенциалом. Для России это шанс сформировать национальные компетенции в области ML‑безопасности и управляемой ИИ‑инфраструктуры. Также возможны интеграции c государственными инициативами и создание отечественных стандартов ИИ‑безопасности.

Системные средства контроля защиты данных

Ранее консалтинговая компания CB Insights провела опрос среди 50 ключевых руководителей компаний, которые занимаются стратегиями их развития. 46% респондентов назвали главным препятствием на пути внедрения генеративного ИИ в организации риски, связанные с безопасностью. Решением проблемы могут стать партнерства для создания системных средств контроля защиты данных с четкими рекомендациями по безопасному доступу к ним и их использованию. Решения ML-безопасности становятся приоритетными.

Работы для помощи разработчикам в выявлении и устранении уязвимостей в проектах машинного обучения ведутся по всему миру. Так, американская компания Protect AI предлагает NB Defense — инструмент для защиты Jupyter ноутбуков от уязвимостей. Это комплексное решение, которое включает расширение JupyterLab и инструмент CLI. NB Defense обнаруживает различные уязвимости, включая секреты (ключи API, частные ключи, токены аутентификации и другие учётные данные безопасности), общие уязвимости и экспозиции (CVE) — уязвимости и экспозиции в фреймворках, библиотеках и пакетах машинного обучения.

Что касается МФТИ, то в числе других стартап-проектов, над которыми работает студия, есть следующие: нейросеть SalesAI, которая оценивает качество работы менеджера по продажам и заполняет CRM; «Беспилотный Погрузчик» — комплекс автоматизированного перемещения палет на складе на базе электротележки с собственной навигационной системой; Karma — нейросеть, повышающая эффективность персонала для офлайн бизнеса на основе аудио- и видеоаналитики.

Преобразование пилота в полноценный продукт

Стартап-студия МФТИ ориентируется на перспективные инновационные проекты, связанные с DeepTech, BioTech, искусственным интеллектом (AI) и смежными высокотехнологичными направлениями. Внедрение средств защиты ИИ является необходимой мерой для ответственного масштабирования GenAI и LLM.

В будущем возможно преобразование пилота в полноценный продукт, востребованный на рынке. Также существует перспектива интеграции с отечественными RegTech или GovTech решениями и расширения сотрудничества с международными партнёрами для разработки совместных стандартов ML-безопасности.