Если мы возьмем за основу наше собственное мышление, то заметим, что даже в самых повседневных ситуациях нам часто трудно точно объяснить причины наших предпочтений, эмоций или желаний. Мы, кажется, запутываемся в лабиринте своего сознания, не в состоянии точно определить, что движет нашими решениями. И вот мы задаемся вопросом: если мы, люди, не всегда можем разобраться в собственном мышлении, то как быть с искусственным интеллектом (ИИ), который, казалось бы, основан на точных программных алгоритмах?
На самом деле, ситуация с ИИ оказывается еще сложнее. С развитием технологий становится все труднее понять, что происходит внутри этого "черного ящика". Разработчики сталкиваются с трудностями в объяснении работы ИИ и понимании причинности его выводов. Глубокие нейронные сети, имитирующие работу нашего мозга, кажутся отражением не только человеческого интеллекта, но и таинственности человеческого сознания.
Большинство систем ИИ представляют собой "черные ящики", которые рассматриваются только с точки зрения входных и выходных данных. Разработчики получают результаты и сравнивают их с ожидаемыми, не пытаясь понять внутренние процессы, происходящие в системе. Это похоже на то, как если бы мы дали "черному ящику" данные о вкусах мороженого и персональную информацию и позволили ему самостоятельно сделать выводы о предпочтениях без предоставления нам ясной картины его алгоритмов и принципов работы.
Проблемы становятся особенно острыми, когда мы видим, что ИИ, который должен устранять предвзятость и расизм, на самом деле усиливает эти проблемы. Системы автоматического принятия решений, такие как те, что используются для одобрения ипотечных заявок или при приеме в учебные заведения, могут непреднамеренно усиливать дискриминацию, опираясь на текущие тенденции и паттерны данных. Это создает серьезные этические и социальные проблемы, подчеркивая необходимость внимательного изучения того, как ИИ принимает свои решения и какие у него внутренние принципы.
К счастью, осознание этих проблем побуждает к обсуждению и поиску решений. Исследователи призывают к более глубокому пониманию процессов принятия решений в ИИ и к разработке методов, которые позволят нам более прозрачно и эффективно управлять этой технологией. Ключевым моментом является признание того, что ИИ не должен оставаться "черным ящиком", непонятным и необъяснимым, но должен стать инструментом, который мы можем понять, контролировать и доверять.
Путь к интерпретируемости
По мере того, как системы ИИ становятся все более сложными, мы все меньше способны их понимать. Поэтому исследователи ИИ призывают разработчиков уделять больше внимания тому, почему система дает определенные результаты, и встроить в свои системы механизмы, помогающие определить причины тех или иных решений внутри "черного ящика".
Роман Ямпольский, профессор компьютерных наук Университета Луисвилля, в своей работе «Необъяснимость и непостижимость искусственного интеллекта» пишет:
"Если все, что у нас есть, — это «черный ящик», то невозможно понять причины сбоев и повысить безопасность системы. Кроме того, если мы привыкнем принимать ответы ИИ без объяснения причин, мы не сможем определять, если он начнет давать неправильные или манипулятивные ответы. Это чрезвычайно опасная дорога, на которую мы ступаем."
Хотя модели "черного ящика" могут быстро и точно выполнять задачи, они не обладают достаточной прозрачностью. Например, системы автоматизированной диагностики заболеваний могут давать лучшие результаты, чем человек. Но невозможно предсказать, когда могут возникнуть ошибки и как именно они могут повлиять на результаты.
Для предотвращения подобных проблем активно развивается направление интерпретируемого машинного обучения (IML), которое стремится сделать модели ИИ понятными для людей. Среди методов, которые помогают в этом:
- Линейные модели и решающие деревья: Эти модели легче интерпретировать, потому что они используют простые правила для принятия решений. Например, в решающих деревьях каждый узел представляет собой правило, которое можно легко понять.
- Методы объяснения модели: Инструменты, такие как LIME (Local Interpretable Model-agnostic Explanations) и SHAP (SHapley Additive exPlanations), помогают объяснять результаты сложных моделей, например, нейронных сетей, путем создания локально интерпретируемых объяснений.
- Визуализация: Визуальные методы, такие как тепловые карты, могут показывать, какие части данных наиболее сильно влияют на решение модели. Это особенно полезно для изображений и текстов.
- Регуляризация: Добавление ограничений к модели, чтобы она учитывала меньше факторов или делала более «гладкие» предсказания, может повысить интерпретируемость.
- Модельные ансамбли: Использование комбинации простых моделей вместо одной сложной может помочь в создании более интерпретируемых решений машинного обучения
Черные и белые ящики: будущее искусственного интеллекта
Во многих случаях невозможно создать осмысленную нейронную сеть, потому что входные данные не содержат достаточного количества информации. Но мы этого не знаем, и такая система может стать главным «принимателем решений», как произошло в случае с системами, выдававшими кредиты и одобрявшими заявки абитуриентов. Потом нам тяжело аргументированно вмешаться в работу системы и спорить с её выводами, потому что мы не понимаем принципов принятия этих решений. Поэтому мы думаем, что всё идет отлично, пока как лемминги шагаем к краю обрыва.
Сходство и различия тестирования по методам «черный ящик» и «белый ящик»
Тестирование программного обеспечения – это ключевой процесс, направленный на обеспечение качества конечного продукта. Два основных подхода, применяемых в этой области, это методы «черный ящик» и «белый ящик». Несмотря на очевидные различия, оба метода имеют одну общую цель – улучшение качества программного обеспечения.
Сходство методов
Общая цель обоих методов тестирования заключается в выявлении ошибок и повышении качества программного обеспечения. Тестировщики, используя любой из этих методов, проверяют соответствие функциональности системы ожидаемым результатам, стремясь подтвердить или опровергнуть свои гипотезы. Оба метода можно рассматривать как две дороги, ведущие к одному пункту назначения – качественному программному обеспечению. Важно отметить, что для достижения наилучших результатов необходимо использовать оба метода в комплексе, так как они охватывают разные аспекты тестирования.
Различия в подходах
Фокусное внимание «черного ящика»
Тестирование по методу «черный ящик» сосредоточено на проверке функциональности системы с точки зрения пользователя. Тестировщики, работающие по этому методу, не вникают во внутреннюю структуру кода или логику работы приложения. Они проверяют, как система реагирует на различные вводные данные и соответствует ли результат ожиданиям. Данный метод обычно называют поведенческим тестированием, и он считается низкоуровневым методом контроля качества.
Основная цель тестирования по методу «черный ящик» – улучшение внешнего качества приложения. Здесь важны удобство использования и корректность выполнения функциональности с точки зрения конечного пользователя. Тестировщики работают с вводными данными и результатами, сравнивая их с ожидаемыми значениями. Если результат совпадает с ожиданиями, функциональность считается корректной.
Фокусное внимание «белого ящика»
Тестирование по методу «белый ящик», напротив, сосредоточено на внутренней структуре и логике приложения. Тестировщики исследуют исходный код, структуру каталогов, маршрутизацию, циклы и петли обратной связи. Этот метод нацелен на повышение внутреннего качества программного обеспечения и создание продукта, который не содержит «тупиков» и антипаттернов и имеет потенциал для дальнейшего развития.
Метод «белый ящик» позволяет выявлять проблемы, которые невозможно обнаружить при тестировании только на основе ввода и вывода. Это структурное тестирование, ориентированное на анализ кода, и оно считается высокоуровневым методом контроля качества.
Особенности применяемых техник тестирования
Методы «черный ящик» и «белый ящик» используют разные техники, и это предъявляет разные требования к навыкам тестировщиков. Для тестирования по методу «черный ящик» не требуется знание программирования или технологий, используемых в разработке приложения. Тестировщики изучают спецификации программного обеспечения, создают наборы тест-кейсов и проверяют функциональность, сообщая о выявленных проблемах разработчикам.
Техники тестирования по методу «черный ящик»
Одной из распространенных техник тестирования по методу «черный ящик» является анализ классов эквивалентности. Тестировщик группирует входные данные по классам, где каждый класс представляет группу данных, возвращающую схожие результаты. Для проверки достаточно ввести одно значение из каждого класса. Например, при тестировании модуля расчета процентов по кредиту, если ставка для срока кредитования от 180 до 360 дней составляет 10%, достаточно проверить одно значение из этого диапазона, чтобы убедиться в корректности расчета.
Техники тестирования по методу «белый ящик»
Для тестирования методом «белый ящик» необходимы глубокие знания в области разработки программного обеспечения и технологий, используемых в приложении. Тестировщики изучают код и проводят тестирование, направленное на проверку логики и структуры кода. Они анализируют потоки данных, проверяют условия и циклы, оценивают покрытие кода и выявляют возможные уязвимости.
Ни одного из этих людей не существует
В новаторском, оказавшем огромное влияние на работы с ИИ, исследовании 2018 года Джой Буоламвини и Тимнит Гебру первыми обнаружили, что все популярные системы распознавания лиц точнее всего определяют мужчин со светлой кожей (2,4% ошибок). И чаще всего ошибаются при обнаружении женщин с более темной кожей (61% ошибок). Причины были три: фотографий темнокожих женщин меньше всего в базах данных; разработчики таких систем сами преимущественно являются белыми мужчинами; датчики камер хуже распознают детали в темных цветах.
Несмотря на это, такие системы до сих пор используются во многих сферах, а главное — в работе полиции. В том числе и в России, и в Китае. Доказано, что если вы — одно из расовых меньшинств в такой стране, эта система будет чаще определять в вас преступника. Просто потому, что преступление совершил кто-то с «похожим на вас» лицом. Из-за таких ошибок (когда сначала ошибается ИИ, а потом ещё и попадается свидетель с плохой памятью на лица) в тюрьмах сидят сотни невинных людей. И их постепенно будет становиться больше.
Кроме того, темнокожие пациенты, азиаты и женщины чаще получают ошибочный диагноз от автоматизированных систем, анализирующих медицинские изображения. А ещё системы искусственного интеллекта могут с невероятной точностью угадывать расу людей на основе рентгеновских снимков и компьютерной томографии. Здесь ученые вообще не понимают, как это происходит, потому что никаких данных для этого в снимках вроде бы нет.
Поиск решений
Все эти проблемы теперь, особенно после 2018 года, широко известны. Но где искать решения — пока не ясно. Некоторые эксперты говорят, что переход к открытым и интерпретируемым моделям ИИ просто приведет к тому, что системы станут менее эффективными. Так что лучше пусть несколько сотен людей посидят в тюрьмах, а другим выпишут неверные диагнозы. Может, потом ИИ научится на своих ошибках, и всё станет лучше, правда? Тем более, альтернативы у нас всё равно пока нет.
Или есть?
Белый ящик
В последние годы некоторые представители отрасли предприняли небольшой, но реальный толчок к разработке «моделей белого ящика», которые являются более прозрачными для человека, и результаты поведения которых можно объяснить. Если вкратце, предлагается разбивать систему на модули, каждый из которых может быть интерпретирован человеком. Или изначально строить модели хотя бы с локальной прозрачностью, чтобы человек не терял контроль над ситуацией. Для определения сложности каждого модуля предлагается использовать количество работающих в ней правил — размерность Вапника-Червоненкиса (комбинаторную размерность).
Пока что «белый ящик» — это довольно нишевая идея, и «черный ящик», как мы знаем, является доминирующим методом обучения всех моделей ИИ, от AlphaZero до GPT-3. Это просто самый быстрый метод достижения результата. Дал машине массив данных, показал, что ты от неё хочешь, настроил несколько конкурирующих моделей и посмотрел, какая даст результат. Разбираться в мелочах мышления ИИ — тут можно зависнуть на годы. А поскольку каждая компания волнуется о том, чтобы не обанкротиться, и каждая команда внутри пытается доказать свою эффективность, мало кто ищет такие более сложные пути достижения той же цели.
А это значит — пока в дело не вступят регуляторы, «черный ящик» неизбежно будет доминировать. Пока публично не будет доказано, что это опасный метод, и на этот способ разработки ИИ не наложат, скажем, финансовые ограничения, делающие «белый ящик» сравнительно более выгодным.
Регуляторы и ограничения
Как мы знаем, и как не раз нам доказывали и американские, и российские власти, регуляторы технологии понимают крайне слабо, так что на ближайшие десятилетия, наверное, можно не волноваться. Но в то же время первые звоночки уже есть. В статье 2021 года, написанной учеными из Пало-Алто, которые были потом уволены из Google за эту публикацию, авторы почти напрямую выступают за введение ограничений.
Так, они утверждают, что если обучать модели ИИ с помощью больших данных, встроенные в них расовые и другие предубеждения — неизбежность. Например, есть такой простой факт, что у некоторых групп населения просто меньше доступа к Интернету. В результате чего «больших данных» о них собирается гораздо меньше, и ИИ считает их «менее людьми», а их интересы — не такими релевантными.
Жители деревень и дальнобойщики в Сети встречаются реже, чем программисты и сисадмины. Но это не значит, что в целом их меньше. Машины, натренированные на больших данных, неизбежно будут «забывать» о широких группах населения. И станут представлять интересы в первую очередь более молодых и продвинутых пользователей. Это, конечно, может быть хорошо для нас, читающих эту статью на Хабре и хорошо представленных в Интернете. Но в целом для страны и для мира — не очень.
Недемократичность и разобщение общества
Если мы ориентируемся на большие данные, то всегда будем отдавать предпочтение тем, у кого есть ресурсы, чтобы публиковать свои изображения, видео, пользоваться платными сервисами, демонстрировать своё публичное мнение. Мы разделяем людей на тех, кто активно пользуется интернетом, и тех, кто только изредка в него заходит. В этом есть что-то фундаментальное и недемократичное. Мы должны стараться делать жизнь людей лучше, а не ещё сильнее разобщать общество.
Если мы не участвуем в разговорах о том, в каких условиях и для кого сейчас разрабатывается ИИ, значит, как человечество мы проиграли. Следующий самый мощный разрабатываемый инструмент будет служить только людям, обладающим властью, и интересоваться только их перспективой. В дальнейшем, если мы не изменим нашу методику обучения ИИ, такое преимущество будет только нарастать, пока не приведет к социальному взрыву или другим серьезным последствиям.
Строительство «хорошего» ИИ
Устранение предвзятости наборов данных, на которых обучаются системы ИИ, практически невозможно в обществе, где сам Интернет является предвзятым. Решения тут два: или использовать сравнительно небольшие наборы данных, где разработчики контролируют, что в них появляется. Или проектировать систему изначально с учетом наличия в ней предвзятости, с пониманием того, что данные не идеальны, а не симулировать беспристрастность и потом бегать в панике, когда разошелся скандал.
Как писали ученые в своей статье, поскольку сокращать объемы данных пока не хочет никто, на настоящий момент наилучший (хоть и далеко не идеальный) подход — второй. Обучение с подкреплением путем обратной связи с людьми. Мы не видим, что происходит внутри черного ящика, но, тем не менее, можем активно пытаться улучшить контент внутри. Сделать так, чтобы система научилась понимать наши ценности.
Это значит, что если ИИ не делает то, что нам нравится, мы даем ему отрицательную обратную связь. Он на ней учится и пытается снова. Мы повторяем этот процесс до тех пор, пока он не выдает что-то, что мы одобряем. Система использует обучение методом проб и ошибок, с учетом человеческого элемента.
Обучение с подкреплением: плюсы и минусы
Такой подход, конечно, годится далеко не для каждого ИИ: не везде можно поставить человека на выходе, следящего за результатом. Изначально нерепрезентативная выборка данных тоже никуда не девается. Но пока что это лучшее из того, что мы точно научились делать.
Сейчас этот подход внедрили и YouTube, и Facebook, запустив свои алгоритмы, на которые могут прямо влиять пользователи — скажем, массово дизлайкая, ставя флаги или быстро скрывая видео, что дает понять системе, что с ним что-то не так. Финальное слово в итоге тоже часто остается за человеком: нанятый оператор определяет, банить или не банить канал, удалять или оставлять пользователя на платформе. По мере того, как контент черного ящика улучшается, а система всё точнее подстраивается под наши ценности, человеческого влияния требуется меньше и меньше. Но поскольку наши ценности тоже склонны меняться, полностью от операторов такие платформы не смогут отказаться никогда.
Переходите на наш сайт macim. ru уже сегодня, чтобы не упустить уникальные предложения, эксклюзивный контент и возможности увеличения заработка.
Присоединяйтесь к нашему вебинару. Будущее уже здесь, и нейросети помогут вам оказаться на шаг впереди, обогнать ваших конкурентов и коллег, увеличить свой заработок и свое благосостояние, и смотреть в будущее более уверенно!
И не забывайте подписываться на наши соц.сети
YouTube: https://www.youtube.com/@MACIM-AI
Телеграм: https://t.me/MACIM_AI
Чат-бот: https://t.me/ChatGPT_Mindjorney_macim_bot
Вконтакте: https://vk.ru/macim_ai
#нейросети
