В апреле я читала лекцию в МИЭМ на тему кибербезопасности и искусственного интеллекта. Рассказываю главное из этой лекции — то, что, на мой взгляд, нужно знать каждому, кто собирается работать в ИТ и отрасли информационной безопасности.
Для начала: у нас нет определения ИИ. Звучит абсурдно, но это факт. Есть распоряжение Правительства внедрять ИИ везде, куда только можно. А что такое ИИ — никто не знает. Игра в шахматы — ИИ? Безусловно, да. А что еще? Антивирус – да. DLP или система защиты от утечек? Тоже да. Все это — искусственный интеллект.
Сейчас пишется закон о регулировании ИИ. Я участвовала в одной рабочей группе, которая этим занимается. Там эксперты три месяца спорили над определением. Я наблюдала эти философские споры и не вмешивалась — это действительно непросто.
Для себя я определяю ИИ как набор компьютерных технологий, которые имитируют когнитивные функции человека. И делю их на две группы: алгоритмические (где все предсказуемо, действия по шагам) и самообучающиеся (на основе больших данных). Наши любимые большие языковые модели — как раз из второй категории.
Основные проблемы генеративного ИИ
Первое: черный ящик. Даже разработчик не знает, по какому принципу и какой ответ выдаст его собственная большая языковая модель. Он может только вероятностно предполагать. Если задать сложный вопрос, модель каждый раз выдаст немного разные ответы. Эксперты спорят, как решить проблему черного ящика. Но ее нельзя решить — это врожденное свойство генеративного ИИ.
Второе: абсолютная уверенность.ИИ всегда выдает ответ с высокомерной уверенностью, подкрепляет свои ответы некими фактами, которые в реальности могут оказаться полнейшим бредом. Это встроенная функция, запрограммированная в модели.
Третье: ловушка доверия.ИИ дает ответы так, как это сделал бы человек. Некоторые люди начинают его очеловечивать, обращаться с ним как с живым существом и, как следствие, передают в модель больше информации, которой делиться бы не стоило, в том числе, конфиденциальной. Например, доверяют моделям разбор рабочей почты, где вполне могут быть коммерческая тайна, ноу-хау и т.д.
Четвертое: искусственный интеллект работает в обе стороны. Вы смотрите на него, он смотрит, оценивает и изучает вас. Немногие это понимают.
ИИ и кибербезопасность
ИИ обучается на больших данных. И мы не знаем, что это за данные. Это может быть все что угодно. Пример: делали систему распознавания лиц для доверенных сотрудников. Разработчик загрузил туда ваши лица — вы проходите, двери открываются. А если он по-тихому загрузил туда посторонних людей? Они тоже будут распознаваться как доверенные и спокойно пройдут на территорию. И никто этого не проверит. С точки зрения безопасности — огромная проблема.
Генеративный ИИ — это облачная инфраструктура. Которая базируется, как правило, за границей. Потому что у нас в стране, к сожалению, с генеративным ИИ все плохо. У нас есть только GigaChat от Сбера и, может, «Алиса» от Яндекса. И все.
На Западе за ИИ следят, в том числе, спецслужбы. Они видят, когда приходит интересный запрос. Рассказывали случай: человек анализировал возможные способы атак на украинскую ИТ-инфраструктуру. Естественно, через ИИ. Ему начали не только выдавать неправильные ответы, но и подкидывать вирусы. Хорошо еще, что ракета не прилетела — в принципе, вычислить такого человека можно.
Про ИИ в образовании
Опросы показывают, что 87% студентов пишут работы с использованием ИИ. Это то, о чем сейчас говорят в Министерстве образования. Преподаватель не может оценить, знает ли студент что-то на самом деле или просто скормил задание нейросети. А работодатель? Мы вообще не знаем, кого нанимаем. Может, человек ничего не знает, только промты умеет писать. Это огромный риск для всей системы образования. И для будущих работодателей таких специалистов.
Правовые риски и субъектность
Ходят слухи, а может, есть желание некоторых людей — придать ИИ субъектность. То есть дать ему возможность принимать решения. Это категорически недопустимая вещь. Даже если количество ошибок у ИИ меньше, чем у людей, — с человека можно спросить. А с железяки что спросишь?
Вот какие риски здесь возникают:
Первое: нарушение прав человека. Если дать машине право принимать решения о людях, это прямая дорога к нарушению конституционных прав.
Второе: ошибки. Уже были случаи, когда людей арестовывали на основе распознавания лиц ИИ. Система принимала человека за убийцу или за вора. А он не убийца и не вор. Но доказывать это приходится ему самому. Судьи сейчас тоже начинают прибегать к ИИ — это только увеличивает риски для граждан.
Третье: снятие ответственности с чиновников.Если машина будет принимать решения, чиновники скажут: «Машина решила, а я что?». И это даст им прекрасную возможность снять с себя ответственность, принимая решения о судьбах людей. Этого допустить нельзя.