Сегодня много говорят об удобстве использования технологий и систем на базе искусственного интеллекта (ИИ), забывая или намеренно замалчивая риски этих систем. А между тем системы ИИ несут много рисков – о чем Наталья Ивановна неоднократно говорила и на «Армии-2021», модерируя мероприятия высокого уровня в рамках конгресса по искусственному интеллекту, и в своих интервью, последнее из которых вышло пару дней назад на РБК-ТВ.
«На мой взгляд, использование технологий и систем на базе ИИ прежде всего несет социальные риски — манипулирование общественным мнением (неотразимая интернет-реклама, убедительная политическая пропаганда и др.), возникновение параллельной цифровой власти (разработчиков, операторов, администраторов ИИ-систем и баз данных, получающих власть по факту доступа к данным), вмешательство в частную жизнь граждан и рост социальной напряженности из-за потери людьми, выполняющими рутинную работу миллионов рабочих мест и т.п».
Но есть и технологические риски использования ИИ, на которые Наталья Касперская, работающая в области информационной безопасности уже 25 лет, призывает обратить особое внимание. Например, это:
1. Ситуация «чёрного ящика».Большинство современных систем ИИ, особенно основанные на нейронных сетях, представляют собой «чёрный ящик» не только для пользователя, но и для оператора, и даже для разработчика системы. Обученная нейронная сеть — это набор готовых фильтров – матриц коэффициентов, в которых нет информации о том, на каких данных делалось обучение, какие именно объекты и каким образом эта система обучена распознавать.
2. Отсутствие средств контроля.Ситуация «черного ящика» приводит к тому, что не существует технических средств аудита систем ИИ в настоящее время, что позволяет разработчику или оператору системы при обучении вносить в систему недокументированные функции (например, чужеродные объекты, которые система будет пропускать как разрешённые), обнаружить которые в работающей системе нельзя.
3. Низкое качество работы.Поскольку системы ИИ – это системы распознавания, то им свойственны стандартные ошибки систем распознавания, а именно ошибки 1-го и 2-го рода, то есть ложные тревоги (распознавание неверного объекта, как искомого) и пропуск искомого объекта. Во многих системах распознавания процент таких ошибок по-прежнему высок. Если система распознавания лиц имеет, казалось бы, высокую точность 99%, то это значит, что в Москве при поиске преступников «ковровым» распознаванием на улицах могут быть распознаны, как разыскиваемые 120 000 человек. Это может создать коллапс правоохранительных органов.
4. Риск ошибок и/или выхода автономных систем с ИИ из-под контроля. Существует вероятность, что автономная ИИ-система с автоматическим принятием решений в критически важных, ответственных областях в результате ошибки или недостаточного обучения примет решение, которое нанесёт ущерб людям или критической инфраструктуре, поскольку программных систем, на 100% защищённых от ошибок, не существует.
5. Иностранные платформы. Ситуация усугубляется тем, что значительное число ИИ-решений базируется на иностранных платформах. А это повышает риск закладок, недокументированных функций и удалённого управления со стороны разработчика платформы.
«Кроме того, есть риски манипулирования данными ИИ-систем. Например, риск намеренного внесения искаженных данных для пропихивания нужных заемщиков в скоринговой системе или риск взлома алгоритмов трейдинга для маскировки инсайдерской торговли. Но это – тема для отдельного разговора».