Начало истории читайте здесь.
Байесовская модель «Сверху вниз»
Подход «Сверху вниз» сыграл большую роль в раннем развитии Искусственного Интеллекта и в 2000-х годах он возродился в виде байесовских моделей.
Первые попытки использовать байесовские модели выявили два вида проблем. Во-первых, большинство структур доказательств могут быть объяснены множеством различных гипотез: вполне возможно, что сообщение, пришедшее на мою электронную почту, является подлинным, но это не так. Во-вторых, откуда берутся концепции, используемые генеративными моделями? Платон и Хомский говорили, что человек родился с такими концепциями. Но как объяснить то, каким образом человек изучает новейшие концепции науки? Или то, как маленькие дети узнают, что такое динозавр или ракета.
Байесовские модели сочетают в себе генеративные модели, проверку гипотез с применением теории вероятности и решают эти две проблемы. Байесовская модель позволяет рассчитать вероятность верности гипотезы, учитывая данные. Также они могут совершать небольшие, но систематические подстройки к существующим моделям, и тестируя их на основе данных, мы можем образовывать новые концепции и модели из уже имеющихся. Однако вместе с этим преимуществом пользователь может получить некоторые проблемы. Байесовские методы могут помочь вам выбрать наиболее вероятную гипотезу, но всегда будет существовать огромное количество всевозможных гипотез, и ни одна система не сможет эффективно проанализировать все из них. И каким же образом вы узнаете, какие гипотезы нужно проверить в первую очередь?
Бренден Лейк из Нью-Йоркского университета совместно со своими коллегами воспользовался методикой «сверху вниз», чтобы решить проблему, которая проста для людей, но чрезвычайно сложна для компьютеров: распознавание незнакомых рукописных символов. Взгляните на японский символ на свитке. Даже если вы никогда не видели его раньше, вы, вероятнее всего, сможете сказать отличается ли он от другого японского символа на свитке. Человек может перерисовать его и создать поддельный символ на основе того, что он видит.
Метод «снизу вверх» для распознавания рукописных символов заключается в том, чтобы дать компьютеру тысячи примеров каждого символа, что позволит ему находить характерные черты. Вместо этого в работе Lake et al. рассказано, как дать программе общую модель того, как рисуется символ. Когда программа видела конкретный символ она выводила последовательность штрихов, которые, скорее всего, привели к созданию этого символа. После чего машина могла узнать, может ли новый символ быть создан при помощи этой последовательности, или для этого потребуется другая последовательность. Далее, программа создавала аналогичный набор штрихов самостоятельно. Программа работала намного лучше, чем программа глубокого обучения, которая была применена к тем же данным, и она с высокой точностью отражала работу людей.
Эти два подхода к машинному обучению имеют взаимодополняющие сильные и слабые стороны. При подходе «снизу вверх» программе не нужно большое количество знаний, но программа требует много данных, и она способна обобщать их исключительно ограниченным образом. Используя подход «сверху вниз», программа может учиться на нескольких примерах и делать гораздо более широкие и разнообразные обобщения, но для начала вы должны интегрировать в неё гораздо больше, чем в первом варианте. Многие исследователи сейчас пытаются объединить эти два подхода, применяя глубокое обучение, чтобы реализовать байесовское заключение.
Недавний успех Искусственного Интеллекта — это результат расширения этих старых идей. Но в большей степени это связано с тем, что интернет позволяет нам получить огромные потоки данных, а закон Мура точно предсказывает увеличение вычислительной мощности, которая может быть применена к этим данным. Более того, данные, которые есть у нас уже были отсортированы и обработаны людьми. Фотографии кошек, размещённые в интернете, были отобраны людьми. Сервис Google Translate функционирует благодаря тому, что он применяет миллионы человеческих переводов и использует этот опыт на новых текстах. Но сервис не понимает, что люди пишут в его полях для ввода.
Однако дети способны сочетать в себе лучшие черты каждого подхода и выходить за их пределы. Исследователи пытаются понять, каким образом дети изучают структуры данных. Четырёхлетние дети могут учиться, беря только один или два примера данных, по методу «сверху вниз». После чего дети обобщают их в совершенно разные концепции. Но они также способны изучать новые концепции и модели из данных, точно так же как это происходит при методе «снизу вверх».
Например, в нашем исследовательском центре мы даём маленьким детям бликет-детектор — новое устройство, которое они никогда ранее не видели. Это устройство представляет из себя коробку, которая начинает светиться и воспроизводить музыку, когда на неё кладут конкретные объекты. Мы показываем детям несколько примеров того, как работает это устройство, объясняя им, что два красных блока делают так, что она работает, а комбинация из разноцветных блоков не позволяет детектору запуститься. Даже дети в возрасте менее двух лет сразу осознают, каким образом работает это устройство. В других экспериментах мы выяснили, что дети понимают каким образом работает машина, используя логику.
Это также можно увидеть, если наблюдать за повседневным обучением детей. Маленькие дети быстро усваивают абстрактные интуитивные теории биологии, физики и даже психологии. В точности, как это делают взрослые учёные, которые не обладают нужным количеством данных.
Достижения современного Искусственного Интеллекта в области машинного обучения методами «снизу вверх» и «сверху вниз» происходят в узком и чётко определённом пространстве гипотез и концепций, которые являются предопределённым набором образов. В противовес этому, дети и учёные часто меняют свои концепции, осуществляя смену парадигм.
Четырёхлетние дети могут распознавать кошек и понимать слова, но они также способны делать творческие и удивительные новые выводы, которые выходят за рамки их опыта. Мой внук недавно объяснил мне, что если взрослый хочет вновь стать ребёнком, то он не должен питаться овощами и фруктами, которые заставляют ребёнка расти. Подобные гипотезы, которые никогда не придут в голову взрослым, характерны для маленьких детей. Мои коллеги вместе со мной неоднократно доказывали, что дошкольники лучше придумывают маловероятные гипотезы, чем дети старшего возраста и взрослые. Однако нам неизвестно, как это происходит.
Но глядя на то, чем занимаются дети, программисты могут выделить полезную информацию, которая может быть использована в компьютерном обучении. Особенно интересны две особенности обучения детей. Во-первых, они не просто впитывают данные, как Искусственный Интеллект. Они пытаются получить информацию на практике и из окружающего их мира. Происходит это в виде игр и исследований. Если в машины внедрить функцию любопытства и заставить её активно взаимодействовать с окружающим миром, то они могут получить больше реальной и нужной им информации.
Во-вторых, дети, в отличие от Искусственного Интеллекта — социально-культурные ученики. Люди не учатся в изоляции и пользуются опытом, накопленным прошлыми поколениями. Недавние исследования доказывают, что даже дошкольники учатся посредством подражаний и информации, выдаваемой другими людьми. Но они неспособны пассивно подчиняться своим учителям. Вместо этого они впитывают информацию от других удивительным способом, делая сложные выводы о том, откуда приходит информация и насколько она надёжна. Также дети систематически интегрируют свой опыт с тем, что они услышали.
Искусственный Интеллект и машинное обучение — звучат довольно страшно. Например, эти системы могут контролировать оружие, и этого нужно действительно бояться. Однако человеческая глупость может принести гораздо больше вреда. Мы должны уметь регулировать технологии. Из-за некоторых проблем в обучении Искусственного Интеллекта он не сможет конкурировать даже с четырёхлетним ребёнком. А предпосылок к апокалиптическим и утопическим сценариям использования Искусственного Интеллекта всё ещё нет.