Искусственный интеллект может делать удивительные вещи, недоступные людям, но во многих случаях мы понятия не имеем, как системы ИИ принимают решения. Это и называется “черным ящиком систем ИИ”.
Причины этого сильно различаются:
Собственные разработки — внутренняя работа модели ИИ держится в секрете для защиты интеллектуальной собственности.
Глубокое обучение. Глубокие нейронные сети и алгоритмы глубокого обучения создают тысячи (а иногда и миллионы) нелинейных отношений между входными и выходными данными. Сложность отношений затрудняет (или даже делает недоступным) даже для разработчика объяснение того, какие функции или взаимодействия привели к определенному результату.
Почему это является важной проблемой?
Это затрудняет исправление систем глубокого обучения, когда они приводят к нежелательным результатам. Если, например, автономный автомобиль сбивает пешехода, вместо того, чтобы нажать на тормоз, "черный ящик ИИ" не позволяет проследить мыслительный процесс системы и понять, почему она приняла такое решение.
Если система восприятия пропустила пешехода, логично предположить, что это произошло потому, что система столкнулась с чем-то новым в ситуации. Значит нужно попытаться диагностировать, что это могло быть, и подвергнуть систему большему количеству таких ситуаций, чтобы она научилась работать лучше в следующий раз. Так? Верно, но не совсем. Как насчет погодных условий – было солнечно и немного туманно?Или только что посыпали солью дороги, и асфальт теперь кажется белее, чем обычно?
Существует бесконечное количество перестановок, поэтому нельзя сказать точно – достаточно ли надежна система, чтобы справиться с любой ситуацией.
Зачем тогда используют “черный ящик”?
Хотя “черный ящик ИИ” и создает определенные проблемы, он также предлагают некоторые преимущества.
- Более высокая точность. Сложные системы, такие как черный ящик, обеспечивают более высокую точность предсказания, чем более интерпретируемые системы, особенно в компьютерном зрении и обработке естественного языка ( NLP ). Это связано с тем, что эти модели способны идентифицировать сложные закономерности в данных, которые люди могут не увидеть. Однако сложность алгоритмов, обеспечивающая точность этих моделей, также делает их менее прозрачными.
- Минимальная вычислительная мощность и быстрый результат. Модель черного ящика не требует много вычислительных ресурсов, потому что она довольно проста. Часто она состоит из набора правил и уравнений, что упрощает их запуск и оптимизацию.
- Автоматизация. Модели искусственного интеллекта «черный ящик» могут автоматизировать сложные процессы принятия решений, уменьшая потребность во вмешательстве человека. Это экономит время и ресурсы, а также повышает эффективность.
Для того, чтобы избавиться от элементов "черного ящика" в системах ИИ – используются алгоритмы объяснимого ИИ. Это особенно важно в случаях, когда системы искусственного интеллекта используются для принятия важных решений, например, в медицине или финансовой сфере. Если пользователи не могут понять, как система принимает решения, то это может привести к недоверию и снижению эффективности.