Искусственный интеллект все чаще принимает решения, которые влияют на жизнь людей, но вопрос о его объективности остается открытым: смещение возникает еще на этапе сбора данных, усиливается при обучении модели и проявляется в реальных условиях применения, а значит, нейтральным ИИ быть не может. Эксперты рассказали Науке Mail, как появляются смещения (bias), кто за них отвечает и как общество может регулировать процесс взаимодействия с нейросетями.
Проверка на справедливость: чем измеряют уровень искажений в моделях
Олег Рогов, руководитель научной группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, подчеркивает, что искусственный интеллект не бывает полностью объективным, потому что bias, то есть смещение, возникает на всех этапах работы системы.
Искажения в ИИ математически неизбежны. Любая модель — сжатое представление реальности, а это всегда предполагает выбор того, что считать важным, то есть не может быть нейтральным. Поэтому главный вопрос не в том, есть ли у системы смещение, а в том, какое оно, насколько велико и как влияет на итоговое решение.
Эксперт отмечает, что чаще всего от ошибок алгоритмов страдают те группы, информация о которых была недостаточно представлена в обучающих данных. Это особенно заметно в системах распознавания лиц и медицинской диагностике, где цена ошибки особенно высока.
Для оценки справедливости систем ИИ сегодня используется целый набор научных методов. Олег Рогов указывает, что применяются статистические метрики, такие, как demographic parity, equalized odds и калибрация. Они позволяют формально оценить, насколько по-разному модель ошибается в отношении разных групп. Для интерпретируемости используются SHAP, LIME и другие инструменты, помогающие выявить признаки, которые влияют на решение ИИ. Кроме того, все большее значение приобретает аудит моделей — независимая проверка поведения системы на специально подобранных тестах, по аналогии с pentesting или red-teaming в кибербезопасности.
Кто виноват, если алгоритм ошибся
В вопросе ответственности за решения ИИ первый спикер говорит о распределенной, но не размытой модели. По его словам, разработчик отвечает за архитектуру и данные, заказчик — за корректность применения, а регулятор — за установление допустимых границ. Задача сегодня состоит в том, чтобы выработать принципы, сопоставимые с ответственностью за качество продукта (product liability) в инженерной сфере.
Юрист Мирза Чирагов подчеркивает, что в российской правовой модели ИИ не является субъектом права, поэтому ответственность всегда несут люди или организации. В практическом плане возможна многоуровневая конструкция: разработчик отвечает, если вред вызван дефектом системы, внедряющая организация или оператор — за контроль, настройку и валидацию результатов, а пользователь — за решения, принятые на основе рекомендаций ИИ, особенно в профессиональной сфере.
Олег Рогов считает, что до развертывания ИИ-систем должна проводиться обязательная оценка рисков. Не менее важна и прозрачность работы системы: человек должен быть уведомлен, что решение принял алгоритм, и иметь возможность это решение оспорить. По его мнению, EU AI Act, первый в мире комплексный нормативный акт, регулирующий использование искусственного интеллекта по принципу риск-ориентированной классификации, движется в правильном направлении, предлагая деление систем по уровню риска, однако без реального аудита и санкций любые стандарты рискуют остаться декларацией.
В российском правопорядке пока нет единой кодифицированной модели регулирования ИИ, поэтому в данный момент речь идет скорее о формировании базовых принципов. Одним из ключевых является сохранение контроля человека над значимыми решениями. Особенно в сферах, где затрагиваются права и законные интересы граждан.
Мирза Чирагов также отмечает, что человек должен понимать: он взаимодействует с алгоритмической системой. Но подчеркивает: если решение нейросети влечет правовые последствия, должна быть обеспечена хотя бы ограниченная объяснимость логики ее работы. Также он указывает на необходимость заранее проверять модели на системные искажения, которые могут привести к неравному обращению.
Существенное место в российской модели регулирования, по мнению Чирагова, занимают персональные данные. Поскольку большинство ИИ-систем обучаются и работают на массивах пользовательской информации, ее обработка возможна только при наличии законного основания — как правило, согласия гражданина или иной предусмотренной законом цели. Дополнительное значение имеет и требование локализации: персональные данные граждан России должны храниться и первично обрабатываться на территории страны. Для облачных и трансграничных ИИ-сервисов это создает дополнительные юридические и технические ограничения.
Эксперты сходятся во мнении, что сегодня ключевой задачей становится не поиск идеально объективной системы, а создание правил, при которых смещения можно вовремя выявлять, контролировать и оспаривать.