Автор Майкл Штифель
Ключевые выводы
- Интеллектуальные программные агенты должны использовать здравый смысл, чтобы рассуждать.
- Прежде чем интеллектуальные программные агенты смогут предвидеть реакцию людей и физического мира, необходимы знания о здравом смысле.
- В настоящее время модели глубокого обучения не понимают, что они производят, и не обладают здравым смыслом.
- Проект «Трансформеры здравого смысла» (COMET) пытается обучить модели, используя информацию о мире, способами, аналогичными тому, как человек приобретет такие знания.
- Проект COMET и другие подобные проекты все еще находятся на стадии исследования.
Исследователи искусственного интеллекта не смогли дать интеллектуальным агентам здравый смысл, необходимый им для размышлений о мире. Без этого знания интеллектуальные агенты не смогут по-настоящему взаимодействовать с миром. Традиционно было два безуспешных подхода к тому, чтобы заставить компьютеры рассуждать о мире - символическая логика и глубокое обучение. Новый проект под названием COMET пытается объединить эти два подхода. Хотя ему это еще не удалось сделать, но есть возможность для прогресса.
Что такое здравый смысл?
Спросите себя, как автоматизированное транспортное средство узнает, что снеговик, стоящий на краю улицы, не собирается выбегать на дорогу? Люди используют свои знания здравого смысла, чтобы понять, что этого не произойдет.
Почему нам так сложно дать разумным агентам здравый смысл? Как показано в предыдущем примере, мы интуитивно используем это знание, не задумываясь об этом. Часто мы даже не осознаем, что делаем это.
С самого начала создания искусственного интеллекта было признано, что эту проблему необходимо решить. Одна из первых статей, написанных в новой области компьютерных наук, была посвящена программам со здравым смыслом.
Здравый смысл - это все те базовые знания, которые у нас есть о физическом и социальном мире, которые мы впитали в нашу жизнь. Он включает в себя такие вещи, как наше понимание физики (причинности, горячего и холодного), а также наши ожидания в отношении поведения людей. Леора Моргенштерн сравнивает здравый смысл с тем, что «то, что вы узнаете, когда вам два или четыре года, вы на самом деле никогда не записываете в книгу».
Например, в Англии кто-то может понять, как водить машину по левосторонней дороге, даже если он только ездил в странах, где правостороннее движение.
Они могут сделать вывод, что одинаково, а что отличается. Леора Моргенштерн в настоящее время ведет набор проблем, для решения которых требуется здравый смысл.
Символическое рассуждение
Первой попыткой сделать это было запрограммировать в компьютер правила здравого смысла. Сегодня эта попытка называется старым добрым искусственным интеллектом - GOFAI. Хотя это привело к некоторому успеху с экспертными системами, основанными на правилах, в целом этот подход не смог обеспечить агентов здравым смыслом. «Объем знаний, который может быть удобно представлен в формализованной логике, в принципе ограничен», - сказал Майкл Витброк, исследователь искусственного интеллекта из Оклендского университета в Новой Зеландии. «Это оказалось поистине непосильной задачей».
Другой попыткой был Cyc. Начиная с 1984 года, изначально это был проект по закреплению здравого смысла посредством базы знаний и взаимосвязей между этими знаниями.
Сегодня, похоже, это ограничивается предоставлением ограниченных приложений частного сектора. Родни А. Брукс сказал о Cyc: «Хотя это было героическое усилие, оно не привело к тому, что система искусственного интеллекта сможет овладеть даже простым пониманием мира».
Основная проблема в том, что язык нечеткий. Прежде всего, должны быть миллионы правил, и бывают исключения. Элли Павлик приводит следующий пример. Если я выйду на улицу под дождем, я промокну, если только я не окажусь под чем-то. Даже этого утверждения недостаточно, потому что оно зависит от угла наклона дождя, его силы и ширины предмета, под которым я нахожусь.
Помимо количества правил и исключений, сами символы неоднозначны. Например, слово «bass» может означать тип рыбы, низкочастотный тон, тип инструмента или названия людей и мест.
Семантические сети
Семантические сети пытаются решить проблему нечеткости. Concept Net, пример такой сети, использует знания из краудсорсинга, где люди могут вводить то, что они считают здравым смыслом.
Вот пример такой сети Concept Net, вращающейся вокруг слова «торт».
Проблема в том, что информации, необходимой для расшифровки семантической сети, нет в сети. Например, всегда сохраняется связь между едой и глотанием. Некоторое не всегда сохраняется. Торт может быть закуской или десертом, а может и не утолить голод. Вы можете съесть торт, потому что хотите чего-нибудь сладкого. Маловероятно, хотя теоретически возможно, чтобы человек съел пирог в духовке, особенно если он горячий. Cook, похоже, используется как существительное и как глагол.
Глубокое обучение
Нейронные сети достигли большего успеха, чем любой из этих подходов. Тем не менее, похоже, что они не смогли достичь здравого смысла.
Alpha Go
Alpha Go сочетает в себе современный поиск по дереву с двумя глубокими нейронными сетями, каждая из которых имеет миллионы соединений. Сеть принципов предсказывает следующий ход и используется для сужения поиска, чтобы учитывались только ходы, которые с наибольшей вероятностью приведут к победе. Сеть ценностей уменьшает глубину дерева поиска, оценивая победителя в каждой позиции вместо поиска до конца игры.
Alpha Go гораздо ближе к человеческим рассуждениям, потому что он использует поиск по дереву Монте-Карло для моделирования оставшейся части игры так же, как человек будет играть оставшуюся часть игры в своем воображении. Поскольку сеть принципов предлагает разумные возможные ходы, а сеть создания ценности оценивает текущее положение, Alpha Go может выбрать ход на основе наиболее успешного моделирования. Это отличается от шахматного алгоритма Deep Blue, в котором для поиска методом грубой силы использовалось масштабное параллельное оборудование.
Тем не менее, Alpha Go и все подобные подходы не требуют здравого смысла, потому что в игре нет двусмысленностей, а успех четко определен. Они неспособны справиться с непредвиденными событиями, такими как беспилотный автомобиль Uber, который убил пешехода, потому что не понимал, что пешеход может переходить дорогу.
Генеративный предварительно обученный преобразователь
Анализ языка с помощью глубокого обучения - это попытка справиться с этой двусмысленностью. Эти модели предварительно обучены и используют статистическую модель языка, выраженную в миллионах или миллиардах параметров в нейронной сети. Если они настроены для конкретной задачи, например, для ответов на вопросы или перефразирования текста, они могут создать впечатление, будто они понимают то, что читают.
Генеративный предварительно подготовленный преобразователь (GPT) -3 - самая крупная из существующих сегодня обучаемых языковых моделей.
Базовая модель генерирует текстовые ответы на вводимый текст. Вы можете попросить его ответить на вопрос или написать эссе. Его необходимо обучить на примерах, прежде чем вы сможете заставить его работать в заданном контексте.
Представления двунаправленного кодировщика от трансформеров
Двунаправленные представления кодировщика от трансформеров (BERT) - это нейронная сеть, которая пытается понимать письменный язык. BERT - это алгоритм обработки естественного языка (NLP), который использует нейронную сеть для создания предварительно обученных моделей. Предварительно обученные модели - это модели общего назначения, которые можно уточнять для конкретных задач NLP. В отличие от других алгоритмов, BERT двунаправлен. Контекст, который использует алгоритм, основан на словах в предложении до и после рассматриваемого слова. Например, в предложении «Я сидел на берегу Темзы» программа использует оба фрагмента «Я сидел на берегу» и «Темзы» для определения значения слова «берег». Однонаправленный алгоритм должен был бы угадать, находится ли подлежащее предложения перед финансовым учреждением или перед водоемом, основываясь только на первой части предложения. Google утверждает, что, основываясь на своей способности проходить тесты, таких как набор данных с ответами на вопросы Стэнфордского университета, он может предоставлять самые современные результаты по задачам NLP.
Сэм Боуман объясняет, что BERT - это не полностью обученная нейронная сеть, а рецепт с открытым исходным кодом для тонкой настройки нейронных сетей для выполнения многих задач обработки естественного языка.
Проблемы с подходами глубокого обучения
Главный вопрос: понимают ли они то, что они читают или пишут, или это просто сложные вычислительные версии Умного Ганса? Или, говоря другими словами, доверяете ли вы любой программе, прошедшей обучение для сдачи профессионального лицензионного экзамена, на должность инженера, юриста или врача?
Боумен и несколько его сотрудников создали новый набор тестов под названием SuperGLUE, чтобы увидеть, насколько улучшено понимание языка машинами. Пока что ни одна машина не превзошла человеческие показатели в тестах. Тем не менее, тесты не показывают, имело ли место понимание.
Как вы вкладываете здравый смысл в модель?
Внести в модель здравый смысл - цель COMET (Commonsense Transformers Трансформеры здравого смысла). Проект представляет собой попытку объединить подходы символического мышления с языковой моделью нейронной сети.
Ключевая идея - привнести здравый смысл при точной настройке модели. Подобно моделям глубокого обучения, они пытаются генерировать правдоподобные ответы, а не делать выводы из энциклопедической базы знаний.
Когда Еджин Чой начала работать в Институте Аллена в 2019 году, она думала, что нейронные сети могут добиться прогресса там, где символический подход потерпел неудачу.
Идея заключалась в том, чтобы дать языковой модели дополнительное обучение на основе здравого смысла. Затем языковая модель могла бы генерировать выводы, основанные на здравом смысле, точно так же, как генеративная сеть могла бы научиться генерировать текст.
Чой и ее коллеги настроили нейронную языковую модель на основе здравого смысла из базы знаний под названием Atomic, чтобы создать COMET.
Кто угодно может использовать COMET. Леора Моргенштерн считает, что COMET может продвинуть эту область вперед, объединив глубокое обучение и здравый смысл.
Будет ли работать подход COMET?
COMET в своих обучающих данных полагается на поверхностные паттерны, а не на понимание концепций. Ключевой идеей было бы снабдить поверхностные паттерны дополнительной информацией за пределами языка, такой как визуальное восприятие или воплощенные ощущения. Представления от первого лица, а не язык, были бы основой здравого смысла.
Элли Павлик пытается научить разумных агентов здравому смыслу, заставляя их взаимодействовать с виртуальной реальностью.
Павлик отмечает, что здравый смысл все равно существовал бы, даже если бы он не умел разговаривать с другими людьми. Предположительно, люди использовали здравый смысл для понимания мира до того, как начали общаться.
Идея состоит в том, чтобы научить интеллектуальных агентов взаимодействовать с миром так, как это делает ребенок. Вместо того, чтобы связывать идею еды с текстовым описанием, интеллектуальному агенту сказали бы: «Теперь мы собираемся поесть», и затем он увидел бы соответствующие действия, такие как сбор еды из холодильника, приготовление еды и тогда посмотрите его расход. Концепция и действие будут связаны друг с другом. Затем он мог бы генерировать похожие слова, когда видел похожие действия.
Назнин Раджани исследует, могут ли языковые модели рассуждать, используя основы физики. Например, если мяч находится внутри банки, а банка опрокинута, мяч выпадет.
Чой и ее коллеги пытаются дополнить COMET изображениями с ярлыками. Идея состоит в том, чтобы сделать здравые выводы о том, что может произойти до и после события, а также о том, каковы настоящие намерения людей.
Чой надеется получить нейронную сеть, которая могла бы учиться на базе знаний без человеческого контроля. COMET может не оказаться в конечном итоге успешным, но это пример подхода, который в конечном итоге может сработать.
