Для некоторых людей термин “черный ящик” вызывает в памяти записывающие устройства в самолетах, которые полезны для посмертного анализа, если произойдет немыслимое. Для других это напоминает небольшой, минимально оборудованный кинотеатр. Но черный ящик также является важным термином в мире искусственного интеллекта.
ИИ черные ящики относятся к системам искусственного интеллекта с внутренней работой, невидимой для пользователя. Вы можете передавать им входные данные и получать выходные данные, но вы не можете изучить код системы или логику, которая произвела выходные данные.
Машинное обучение - доминирующее подмножество искусственного интеллекта. Оно лежит в основе генеративных систем ИИ, таких как ChatGPT и DALL-E 2. В машинном обучении есть три компонента: алгоритм или набор алгоритмов, обучающие данные и модель. Алгоритм - это набор процедур. В машинном обучении алгоритм учится распознавать закономерности после обучения на большом наборе примеров – обучающих данных. После обучения алгоритма машинного обучения результатом является модель машинного обучения. Модель - это то, чем пользуются люди.
Например, алгоритм машинного обучения может быть разработан для выявления закономерностей на изображениях, а обучающими данными могут быть изображения собак. Результирующей моделью машинного обучения будет кинолог. Вы бы ввели в него изображение в качестве входных данных и получили бы на выходе, представляет ли набор пикселей собаку и где на изображении.
Любой из трех компонентов системы машинного обучения может быть скрыт или помещен в черный ящик. Как это часто бывает, алгоритм общеизвестен, что делает помещение его в черный ящик менее эффективным. Поэтому, чтобы защитить свою интеллектуальную собственность, разработчики ИИ часто помещают модель в черный ящик. Другой подход, который используют разработчики программного обеспечения, заключается в сокрытии данных, используемых для обучения модели, – другими словами, помещают обучающие данные в черный ящик.
Противоположность черному ящику иногда называют стеклянным ящиком. Стеклянный ящик ИИ - это система, алгоритмы, обучающие данные и модель которой доступны для просмотра любому. Но исследователи иногда характеризуют даже такие аспекты как "черный ящик".
Это потому, что исследователи не до конца понимают, как работают алгоритмы машинного обучения, особенно алгоритмы глубокого обучения. Область объяснимого ИИ работает над разработкой алгоритмов, которые, хотя и не обязательно являются стеклянным ящиком, могут быть лучше поняты людьми.
Почему черные ящики искусственного интеллекта имеют значение
Во многих случаях есть веские причины опасаться алгоритмов и моделей машинного обучения "черного ящика". Предположим, что модель машинного обучения поставила диагноз о вашем здоровье. Вы бы хотели, чтобы модель была черным ящиком или стеклянной коробкой? Как насчет врача, назначающего вам курс лечения? Возможно, она хотела бы знать, как модель пришла к такому решению.
Что, если модель машинного обучения, которая определяет, имеете ли вы право на получение бизнес-кредита в банке, откажет вам? Разве вы не хотели бы знать, почему? Если бы вы это сделали, вы могли бы более эффективно обжаловать решение или изменить свою ситуацию, чтобы увеличить свои шансы на получение кредита в следующий раз.
Черные ящики также имеют важные последствия для безопасности программных систем. В течение многих лет многие люди в компьютерной сфере думали, что хранение программного обеспечения в черном ящике предотвратит его изучение хакерами и, следовательно, оно будет безопасным. Это предположение в значительной степени оказалось неверным, потому что хакеры могут реконструировать программное обеспечение, то есть создавать факсимиле, внимательно наблюдая за тем, как работает часть программного обеспечения, и обнаруживать уязвимости для использования.
Если программное обеспечение находится в стеклянном ящике, то тестировщики программного обеспечения и хакеры с благими намерениями могут изучить его и сообщить создателям о слабых местах, тем самым минимизируя кибератаки.
Не стесняйтесь делиться своим мнением в комментариях! Если вам понравился этот пост, не забудьте поставить лайк и поддержать подпиской на наш канал, чтобы не пропустить новые интересные статьи.
P.S. автору будет приятно:)