В Югре прошел XVII Международный IT-форум с участием стран БРИКС и ШОС. Я уже рассказывала об одной из панельных дискуссий форума, но я также выступила и среди участников центральной — пленарной сессии — «Глобальное управление цифровой трансформацией». Было интересно послушать экспертов, тем более к нам присоединились коллеги из дружественных государств, которые поделились своими взглядами на нынешние реалии в ИТ. Я вновь подняла вопросы цифрового суверенитета и рисков зависимости от иностранного, которые пока только начинают осознавать.
Про зависимость от иностранных разработчиков ИИ
Очень сильно перекошена ситуация с разработкой генеративных ИИ-моделей: есть примерно десяток стран-разработчиков таких технологий, но с огромным отрывом лидируют США. Порядка 90% всех разработок ИИ базируются там. И 100% разработческих платформ — тоже там, а весь остальной мир зависим. Второй разработчик — Китай, с сильным отрывом. Есть еще несколько стран, среди которых Россия. Больше игроков нет.
Построение генеративной ИИ-модели — это очень дорого. У нас в России их лишь две. Этот перекос уже создан, а разрыв будет только увеличиваться.
Что делать России?
России нужно идти не по пути гонки за созданием генеративных моделей, которые сейчас модны, а по другому, суверенному пути. У нас действительно много инновационных разработок в области ИИ — это компьютерное зрение, цифровые двойники, автономные системы, промышленный ИИ для нефтегазовой отрасли. В специализированных ИИ-системах Россия может играть лидирующую роль.
Что касается генеративных моделей — здесь мы будем пользователями. Это значит, что надо думать о рисках, которые создаются для нас в такой ситуации.
Про риски
Первый и главный риск — утечка информации. Генеративные ИИ-модели — это открытые системы. Вы загружаете данные, задаете вопросы, получаете ответы и решения. Но модель точно так же вычисляет вас. Она может агрегировать данные по нескольким компаниям, понять, что это русские, и подсунуть нерелевантный или намеренно вредный ответ.
Можно разворачивать модели в локальной инфраструктуре, но даже это не гарантирует безопасность — набор данных может быть специальным образом сконфигурирован. Поэтому доверять генеративному ИИ критические применения неправильно.
В стране создан консорциум по доверенному ИИ. Он прорабатывает подходы к безопасности в недоверенных средах — например, это выборочная проверка данных, анализ реакций модели. Работа идет, но она далеко не закончена.
Компания InfoWatch занялась защитой от утечек через генеративные модели. Мы можем перехватывать конфиденциальные данные на периметре и не допускать их утечку, можем анализировать запросы. Но есть вещи, с которыми пока нам не очень понятно что делать. Например, промт-инъекции — когда запрос формулируется так, чтобы получить информацию, которую модель не должна выдавать. Пока технологически непонятно, как это блокировать автоматически. Дипфейки, в свою очередь, стали настолько качественными, что глаз их не отличает, а автоматических методов надежного распознавания также пока нет.
Некоторые вещи вообще могут оказаться технологически неразрешимыми. Возможно, потребуются регуляторные ограничения — законодательно запрещать опасные применения. Дать временные рамки я не могу — мы только в начале пути. Но в обеспечении безопасности Россия вполне может занять лидирующую позицию: нам жизненно необходимо защищаться.