Программисты могут выделить полезные подсказки из того, как дети обрабатывают информацию. Это может помочь в совершенствовании технологий обучения систем Искусственного Интеллекта.
Многие из нас слышали о достижениях в области Искусственного Интеллекта и особенно в машинном обучении. Возможно, что вы что-то знаете об утопических и апокалиптических предсказаниях о будущем Искусственного Интеллекта. Некоторые считают, что эта технология рано или поздно принесёт человечеству бессмертие или уничтожит его. Но современный Искусственный Интеллект с трудом решает проблемы, с которыми способны справиться обычные четырёхлетние дети. «Искусственный Интеллект» — звучит громко, не так ли? Но в большинстве случаев эта технология включает в себя методы обнаружения статических закономерностей в больших данных. Однако для обучения человека это не нужно.
Как мы можем так много знать о мире, что нас окружает? Мы учимся очень многому в детском возрасте, узнавая о растениях, животных, машинах, желаниях, верованиях и эмоциях.
Благодаря науке мы можем изучать всё что угодно, хоть Вселенную, хоть истоки человеческой цивилизации. И эти знания используются для предсказаний, расширения классификаций и создания чего-либо нового. Но вся информация, которую мы получаем о мире, состоит из фотонов и возмущений воздуха. Как мы можем знать столько о мире, обладая таким малым количеством свидетельств? И всё это происходит благодаря нашему серому веществу — мозгу.
Точно так же как и учёные, мы можем воспользоваться этими данными, чтобы сформировать гипотезы о мире. Затем, вместо извлечения закономерностей из необработанных данных, мы можем предположить, как должны выглядеть данные при условии, что гипотезы являются верными. Такого подхода придерживались философы и психологи, такие как Платон, Декарт и Ноам Хомский.
Вот обычный пример из нашей жизни, который демонстрирует разницу между двумя этими методами: очистка почты от спама. Данные состоят из длинного списка сообщений в папке «Входящие». Реальность такова, что лишь некоторые из поступивших сообщений могут быть подлинными, и все остальные — спам. Но как же человек определяет это?
Метод «снизу вверх». Человек понимает, что спам-сообщения, обычно, обладают длинным списком адресатов, исходят из малоизвестных государств и включают в себя ссылки на призы размером в миллионы долларов. Но ведь и обычные сообщения могут обладать схожими атрибутами (ну разве, что миллион долларов вам никто не предложит). На подсознательном уровне вы сравниваете эти сообщения с обычными, которые поступили от ваших близких или друзей. И находите особенности в орфографии и странности в IP-адресах.
Машинное обучение делает точно так же. Оно обучается на миллионах примерах с некоторыми особенностями, после чего создаёт определённый шаблон, который позволяет программе отличить спам от обычных сообщений.
Но как насчёт подхода «сверху вниз»? Человек получает письмо от редактора журнала клинической биологии. Он ссылается на одну из моих работ и говорит, что хотел бы опубликовать её. Никакой Нигерии и Виагр, никаких миллионов долларов. Это письмо никак не относится к спаму. На первый взгляд. Но используя свои знания, я могу осознать, что письмо выглядит как-то подозрительно:
- Во-первых — спамеры стараются извлечь деньги из людей, взывая к их жадности.
- Во-вторых — популярные журналы берут плату с подписчиков, а не с авторов, да и к тому же ничего о клинической биологии я никогда не писал.
Сложив всё это вместе, я понимаю, какого рода письмо пришло мне. «Редактор» просто хочет, чтобы я оплатил публикацию своей статьи в ненастоящем журнале. Письмо являлось результатом того же процесса, что и другие спам-сообщения. Но изначально оно не было похоже на них. И я могу продолжить проверять свою гипотезу, поискав этого редактора в Google.
Генеративной модели присущи абстрактные понятия, такие как жадность и обман, а также описание процесса мошенничества по электронной почте. Таким образом, я могу распознать классическое сообщение из Нигерии, а ещё несколько других видов спама. Но в случае с сообщениями из журналов я всё равно задаюсь вопросом, а не спам ли это?
Новые волнения по поводу Искусственного Интеллекта связаны с тем, что специалисты недавно создали мощные и эффективные версии этих методов обучения, но сами методы не несут в себе ничего принципиально нового.
Глубокое обучение методом «снизу вверх»
В 80-х годах (на самом деле, в 60-х — прим. перев.) учёные-компьютерщики создали гениальный способ заставить нейросетевые и коннекционистские архитектуры находить паттерны в данных. Этот подход провалился в 90-х годах, но недавно вновь был восстановлен при помощи методов глубокого обучения.
К примеру, вы можете дать программе глубокого обучения целый пласт изображений, которые подписаны как «кошка», «дом» и т. д. Программа будет пытаться обнаружить у этих шаблонов общие черты, чтобы классифицировать их.
Некоторые виды машинного обучения, известные как методы обучения без учителя, обнаруживают закономерности в изображениях без каких-либо меток. Они просто производят факторный анализ изображения. В устройствах, работающих посредством глубокого обучения, подобные процессы повторяются на различных уровнях. Некоторые из программ способны находить соответствующие объекты, пользуясь необработанными данными пикселей или звуков. Компьютер может найти шаблоны в необработанном изображении, которые соответствуют краям и линиям. Далее, компьютер попытается выделить шаблоны из объектов, соответствующих граням.
Другой метод «снизу вверх» обладает ещё более длительной историей и представляет из себя обучение с подкреплением. Скиннер, опираясь на работу Джона Уотсона, который научил голубей атаковать цели посредством метода вознаграждений и наказаний, создал обучение с подкреплением. Главная идея заключалась в том, что действия с последующим вознаграждением выполнялись вновь, а действия, за которыми следовали наказания — нет.
Во времена, когда жил Скиннер — обучение, состоящее из постоянно повторяющихся действий, могло привести к сложному поведению. Компьютеры, предназначенные для постоянного произведения простых операций, могут обрести сложные модели поведения.
Например, исследователи из компании DeepMind воспользовались сочетанием глубокого обучения и обучения с подкреплением, чтобы обучить компьютер проходить игры на приставке Atari. Но компьютер не знал о том, каким образом работают видеоигры. Он действовал случайным образом, благодаря чему сумел получить информацию о том, как выглядел каждый кадр игры. Глубокое обучение помогало компьютеру определить, что происходит на экране, а обучение с подкреплением вознаграждало компьютер за достижение более высоких баллов в игре. Компьютер довольно хорошо играл в некоторые игры, но некоторые игры ему не поддавались.
Схожие методы использовались для AlphaZero от DeepMind, который сумел обыграть людей в шахматы и го, обладая лишь базовыми знаниями правил игры и некоторыми возможностями для планирования. Система AlphaZero обладает ещё одной интересной особенностью. Она способна обучаться, играя сотни миллионов матчей против самой себя. При этом она устраняет ошибки, которые могли привести к поражениям и повторяет и прорабатывает стратегии, приведшие к победе. Подобные системы называются генеративно-состязательными сетями, которые генерируют данные так же, как и данные наблюдений.
Когда вы обладаете вычислительными мощностями, которые могут быть использованы для анализа изображений и голосовых записей в Instagram, вы можете решить те проблемы, что казались сложными раньше. Самое интересное открытие в области информатики состоит в том, что проблемы, которые легко решаются человеком, довольно сложны для компьютеров. Даже сложнее, чем шахматы и го. Компьютеры нуждаются в миллионах примерах, чтобы классифицировать объекты, которые мы определяем, ознакомившись с ними несколько раз. Но опять же, системы способны ошибаться и считать, что кошка не является кошкой, а вот пятно — да.
Продолжение следует...
