Это перевод статьи A New Approach to Understanding How Machines Think, опубликованной в журнале Quanta Magazine 10.01.2019. Мы в Агентстве Искусственного Интеллекта стараемся готовить для вас лучшие материалы. Подписывайтесь на канал, чтобы не пропустить важное и интересное.
Нейронные сети очень тяжело понять. Компьютер может придумать отличный ответ, но вряд ли сможет объяснить то, какие факторы привели к тому или иному выводу. Бин Ким занимается разработкой, которая поможет понять, когда у Искусственного Интеллекта возникают неполадки.
Если врач сказал, что вам нужна операция, то, вероятнее всего, вы захотите узнать — почему и для чего она вам нужна. И врач сможет объяснить так, что причины будут понятны даже тому человеку, который никак не относится к медицине. Бин Ким — исследователь в компании Google Brain, которая считает, что Искусственный Интеллект так же обязан уметь объяснять причины, приведшие к принятию того или иного решения. Сейчас она создаёт программное обеспечение, которое позволит разъяснить то, что происходит в «головах» у машин.
За последние десять лет нейронные сети и Искусственный Интеллект сумели изменить представление обо всём, начиная с электронной почты и заканчивая обнаружением наркотиков. Также эти технологии способны самообучаться и идентифицировать шаблоны в данных. Но за такой быстрый рост пришлось поплатиться «понятностью» этих технологий. Благодаря Искусственному Интеллекту люди могут автоматизировать вождение автомобилей и застраховаться от мошенничества. Однако внутренние процессы, происходящие в этих системах, непонятны даже специалистам этой сферы. Вот, допустим, нейронная сеть, способная проводить диагностику таких болезней, как рак печени и шизофрения. Она отлично выполняет свои задачи, но на какие признаки она обращает своё внимание, не смогут узнать даже самые лучшие специалисты. Эти факторы распределены среди множества слоёв искусственный нейронов, каждый из которых обладает сотнями тысяч исходящих из него связей с другими нейронами.
Во всё большее количество отраслей внедряются алгоритмы и программы, позволяющие автоматизировать те или иные процессы. Раньше, когда этими технологиями интересовались не так сильно, проблема чёрного ящика считалась её особенностью. Сейчас же — это самая большая проблема. DAPRA «XAI» — проект, который довольно активно изучает проблему понимания, и она оказалась слишком важной. Для принятия Искусственного Интеллекта — «понятность» является важнейшим фактором. Если специалисты не смогут решить эту проблему, то развитие Искусственного Интеллекта может остановиться.
Бин Ким и её коллеги из компании Google Brain создали систему, которая получила название TCAV (тестирование при помощи векторов активации), которую коротко классифицировали, как «переводчик с языка машин, на язык людей». Благодаря этой разработке человек может узнать, что именно послужило главным фактором в принятии решения. К примеру, если алгоритм машинного обучения был обучен распознавать зебр на изображениях, то человек может использовать разработку TCAV, которая позволит ему узнать, насколько важным является наличие характерных полос зебры для Искусственного Интеллекта.
Изначально TCAV тестировался на моделях машинного обучения, которые обучены распознавать изображения. Кроме того, эта разработка способна взаимодействовать с моделями, распознающими текст и определённые виды визуальных данных. Бин Ким сообщила, что TCAV — универсальная и простая разработка, которая может быть подключена к различным моделям.
Журналисты Quanta Magazine пообщались с Бин Ким на тему интерпретируемости. Разговор затронул тему того, насколько эта технология нужна и для кого она создаётся. Вот краткая версия интервью (Q — Quanta, БК — Бин Ким).
Q: Вы посвятили свою карьеру интерпретируемости машинного обучения. Можете объяснить, что это значит?
БК: Существуют две ветви интерпретируемости. Одна ветвь интерпретируемости создана для науки: если рассматривать нейронную сеть, как объект исследования, то можно проводить на ней эксперименты.
Я сосредоточилась на исследовании второй ветви интерпретируемости, которая нужна для того, чтобы Искусственный Интеллект мог объяснять свои действия. Вам не обязательно знать всё, что происходит при решении той или иной задачи, однако, наши разработки позволят вам знать достаточно для безопасного использования таких инструментов. Это наша главная цель.
Q: Но как можно быть полностью уверенным в системе, которую вы не можете полностью понять?
БК: Давайте я приведу небольшой пример. Допустим, на заднем дворике моего дома растёт дерево, которое я хочу срубить. У меня есть бензопила, которая необходима для этого. Я не совсем понимаю то, как она работает. Однако в инструкции сказано, что с ней нужно работать осторожно, чтобы не поранить себя. Прочитав это руководство, я предпочту использовать бензопилу, нежели ручную пилу. Механизм работы последней понять значительно проще, но для вырубки дерева потребуется гораздо больше времени.
Q: Вы понимаете, что такое «рубка», не зная о том, каким образом механизм делает это.
БК: Правильно. Цель второй ветви интерпретируемости — сделать так, чтобы объём понимания был достаточным для безопасного использования. Мы должны создать это понимание, чтобы люди могли осознать, какие человеческие знания используются инструментами.
Q: Как «отражение человеческого знания» может разъяснить работу Искусственного Интеллекта?
БК: Вот ещё один пример. Если врач использует алгоритмы машинного обучения для выявления рака, он захочет удостовериться в том, что машина не использует ненужные данные. Убедиться в этом можно, если сопоставить действия машины с действиями настоящего врача. Нужно доказать, что в модели используются врачебные знания, а не что-то еще. Если врач ставит диагноз, то он объясняет причину. Также при постановке он может учитывать возраст пациента и возможность рецидива. Этим руководствуются врачи при диагностировании рака. Если мы сможем доказать, что модель машинного обучения обращает внимание на эти факторы, то она станет более понятной, ведь она будет отражать человеческие знания.
Бин Ким рассказывает о методах интерпретируемости решений, сделанных Искусственным Интеллектом
Q: Для этого TCAV и создан — чтобы показать концепции высокого уровня, используемые моделью машинного обучения?
БК: Верно. До TCAV методы интерпретируемости могли объясняться лишь при помощи терминов входных признаков. Это значит, что такие объекты, как изображения, являются суперинтерпртируемыми, так считает сам Ян Лекун. Объясняет он это тем, что мы можем изучить каждый отдельный узел в нейронной сети и увидеть числовые значения для всех входных объектов. Для компьютеров это нормально, но не для людей. Мы же не говорим о том, что это картинка 200x300 точек. Заместо этого мы можем сказать, что смотрите, вот фотография, а на ней красивая собака.
Q: Каким образом TCAV преобразует входные объекты в информацию, понятную для людей?
БК: Вспомним пример с врачом, который использует модель машинного обучения, чтобы классифицировать изображения потенциальных раковых клеток. Вам, как врачу будет интересно, что повлияло на машину при принятии диагноза. Но для этого нужно загрузить в модель определённые данные.
TCAV делает это изнутри, тестируя чувствительность модели. Своими действиями TCAV пытается выяснить насколько поступающие данные являются важными для машины. Если при добавлении вероятность диагностирования рака увеличивается, то данные были важны машине, если нет, то она пользуется другими методами.
Q: «Концепция» — размытый термин. Существует ли что-то, что не может работать с TCAV?
БК: Если вы не можете выразить свою концепцию при помощи набора данных, то она не будет действительной. Если ваша модель машинного обучения учит себя при помощи изображений, то концепция должна выражаться визуально. К примеру, человек хочет выразить понятие «любовь». И сделать это визуально — трудно.
Мы довольно тщательно изучаем концепции и проводим тестирование, которое отвергает вектор понятия при условии, что он оказывает аналогичное влияние на модель, как и случайный вектор. Если ваша концепция не сможет пройти этот тест, то TCAV откажется работать с ней.
Q: Вы на самом деле просто хотите создать кредит доверия к Искусственному Интеллекту, а не привести к его пониманию. Ведь так?
БК: Нет. Из многочисленных исследований когнитивной науки и психологии мы знаем, что люди очень доверчивы. Это значит, что обмануть человека легко. Цель интерпретируемости машинного обучения противоположна этому. Благодаря интерпретируемости человек сможет узнать, что система не является безопасной и перестать её использовать. Мы говорим о правдивости, а не о лжи.
Q: Значит ли это то, что интерпретируемость нужна для выявления потенциальных недостатков?
БК: Вы правы.
Q: Каким образом TCAV выявляет недостатки?
БК: TCAV может спросить обученную модель о несущественных понятиях. Если вернуться к примеру врачей, которые используют Искусственный Интеллект для выявления рака, то они могут отсеять ненужные для них факторы.
Q: Почему нельзя сделать системы интерпретируемыми изначально, без применения TCAV?
БК: Есть такой раздел исследований, который сфокусирован на построении интерпретируемых моделей, отражающих человеческие рассуждения. Я вижу, что существует много моделей, которые не являются интерпретируемыми изначально, но используются для выполнения важных задач.
Мы должны осознать то, насколько технология Искусственного Интеллекта нужна нам. Поэтому я создаю методы интерпретируемости, которые работают с уже обученными моделями. Если вы не можете изменить чью-то модель, то и объяснить её поведение у вас так же не получится. Для этого и нужна наша разработка — TCAV.
Q: А что если мы не знаем, какой конкретный вопрос задать системе. Вдруг мы хотим узнать всё?
БК: Сейчас мы заняты функцией, которая автоматические обнаруживает концепции. Её мы назвали DTCAV. Но наличие человека — это главный фактор для интерпретируемости.
Те же врачи не хотят использовать модель, набитую знаниями «с завода». Они хотят вложить в неё то, что их интересует. В этом и плюс TCAV.
Q: Возможно ли, что отсутствие интерпретируемости заставит человечество отказаться от Искусственного Интеллекта?
БК: Такое уже произошло с экспертными системами. Их использование было выгодным, но они «погибли». А после мы вступили в эру Искусственного Интеллекта. Страх и непонимание — главные причины, которые могут заставить человечество отказаться от этой технологии.