510 подписчиков

Deep Learning: введение

2 апреля 20222 апр 2022

8 мин

В этой лекции поговорим о том, что такое глубокое обучение.

Прежде всего, обратим внимание на то, что в Искусственном интеллекте (AI от Artificial Intelligence) можно условно выделить подобласть под названием «Machine learning или машинное обучение» (см. рис. ниже), которое представляет собой класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счёт применения решений множества сходных задач.

В свою очередь у машинного обучения можно выделить подобласть под названием «Representation learning», в которой лежат алгоритмы, обучающиеся представлять данные максимально эффективным способом (представляет собой т.н. Обучение признакам или обучение представлениям, включает набор техник, которые позволяют системе автоматически обнаруживать представления, необходимые для выявления признаков или классификации исходных данных).

Например, автоинкодеры выучивают компактное представление изображения, представляя его малоразмерным вектором на примере 128 чисел.

Так, чтобы он нес в себе почти столько же информации, сколько и изначальное изображение, которое намного больше по размеру в памяти.

Можно считать, что в области «Representation learning» находится современный раздел «Deep learning», т.е. глубинное (или глубокое) обучение, поскольку нейронные сети так эффективны в сложных задачах именно за счет того, что умеют выучивать максимально компактное и эффективное представление объектов, с которыми они работают. Deep learning включает совокупность методов машинного обучения (с учителем, с частичным привлечением учителя, без учителя, с подкреплением), основанных на обучении представлениям (т.е. от англ. feature/representation learning), а не специализированных алгоритмах под конкретные задачи.

Об этом и многом другом можно узнать в лекциях про свёрточные нейронные сети, например, пройдя по ссылке: https://zen.yandex.ru/media/id/603a418d1684900aa2499416/6243a0806436715c552853d7.

Аналитика компании Gartner.

Компания Gartner является исследовательской и консалтинговой компанией, специализирующейся на рынках информационных технологий. Ещё в 1995 году этой компанией введено в обиход понятие «цикл хайпа» (от англ. Hype cycle),

с этого момента широко используемое как самой компанией, так и другими комментаторами рынка для прогнозирования и объяснения тех или иных тенденций, связанных с появлением какой-либо новой технологии

Заметим, что также на русском языке используются термины: цикл ожиданий, цикл ажиотажа, цикл общественного интереса, цикл шумихи, цикл признания, цикл зрелости).

Заметим, что по версии компании Gartner на июль 2017 года, Deep learning находится на пике новейших технологий, то есть представляются крайне перспективными, с этими методами связывают решение актуальных современных задач.

Также обратим внимание, что в предыдущих годах, 2015 и 2016 (см. рис. ниже), именно термин «machine learning» занимал одно из лидирующих мест по версии этой же компании Gartner.

На самом деле на графике 2018 года (см. рис. ниже) Глубокое обучение остаётся на том же месте. Это так называемый «пик раздутых ожиданий». То есть по версии авторитетных компаний многие сейчас очень верят в возможности глубоких нейронных сетей. Однако наиболее активно Deep learning используется в компаниях, у которых есть много данных.

Заметим, что по версии компании Gartner на 2019 год (см. рис. ниже), термин «Deep learning» вышел из списка, однако остаётся термин «Transfer Learning», который заключается в применении к решению задачи знаний, извлеченных нейронной сетью при решении другой задачи.

Hype cycle за 2019 год (на русском языке)

Чаще всего transfer learning выглядит следующим образом: к натренированной на определенную задачу глубокой нейронной сети добавляется еще несколько скрытый слоев, которые позволяют использовать уже полученные знания для решения более конкретной задачи.

Например, знания, полученные при обучении распознаванию различных предметов, могут применяться при решении задачи распознавания еды.

По версии на 2020 год (рис. ниже), вместо терминов «Deep learning» и «Transfer Learning» указывается термин «Adaptive Machine Learning», отличие которого от традиционного заключается в том, что адаптивное машинное обучение основано не на каких-либо постоянных данных, а на способности постоянно приспосабливаться и изменять поведение при необходимости, следя за тем, чтобы система не оперировала устаревшими данными.

Более того, адаптивное машинное обучение обладает уникальной способностью извлекать уроки из прошлого, т.е. чем больше информации вы вводите в систему, тем больше и умнее она становится.

Адаптивное машинное обучение даже учится на предыдущих ошибках и снижает шансы на их повторение.

По версии на 2021 год (рис. ниже), вместо терминов «Deep learning» или «Adaptive Machine Learning» указывается термин «Quantum Machine Learning», отличие которого от традиционного машинного обучения заключается в использовании параллелизма квантовых компьютеров. На пик чрезмерных ожиданий поднимается «Generative AI» (означает "Генеративный искусственный интеллект", т.е. представляет собой системы искусственного интеллекта, способной генерировать текст, изображения или другие медиаданные в ответ на подсказки).

По версии на 2022 год (рис. ниже) на пике чрезмерных ожиданий располагаются термины «Responsible AI» (означает "Ответственный искусственный интеллект (ответственный ИИ)", т.е. представляет собой подход, предполагающий разработку, оценку и развертывание систем ИИ с соблюдением принципов безопасности, надежности и этики) или «Generative AI» (означает "Генеративный искусственный интеллект", т.е. представляет собой системы искусственного интеллекта, способной генерировать текст, изображения или другие медиаданные в ответ на подсказки), также на пике пока ещё располагается "Knowledge Graphs" (означает рус. Сеть знаний; дословно Граф знаний, т.е. представляет собой подход, предполагающий использование теории графов для представления информации о разных сущностях и взаимосвязях между ними). Спускается с пика т.н. "Natural Languige Processing" (означает "Обработка естественного языка (NLP)", т.е. представляет собой технологию машинного обучения, которая позволяет интерпретировать, манипулировать и понимать человеческий язык, т.е. NLP предназначена для автоматической обработки голосовых и текстовых данных, анализа намерений или настроений в сообщениях и и прочее в режиме реального времени). На дне разочарований уже расположился термин «Deep Learning» (означает "Глубокое обучение", т.е. представляет собой вид машинного обучения с использованием многослойных нейронных сетей, которые обучаются на больших наборах данных).

По версии 2023 г. всё ещё на пике располагаются «Responsible AI» (т.е. "Ответственный искусственный интеллект (ответственный ИИ)" и «Generative AI» (т.е. "Генеративный искусственный интеллект"), а на дне разочарований располагается «Machine Learning in HR» (означает "Машинное обучение для Human Resources, т.е. машинное обучение для анализа и прогнозирования возможностей «человеческих ресурсов»), перспективы на которое возлагались в 2019 г.

Другими словами, технологии искусственного интеллекта, в том числе методы машинного обучения, в частности, deep learning продолжают совершенствоваться и остаются перспективной технологией, которая активно и довольно успешно используется для решения практических задач.

Количество данных.

Современные компании обладают многочисленными данными, их обработка является одной из ключевых проблем современности.

Глубокие нейронные сети способны обрабатывать значительные объемы информации, при этом даже чем больше данных, тем лучше обучаются и работают алгоритмы глубокого обучения.

Это положительно отличает глубокие нейронные сети от традиционных, например, многослойного персептрона (см. рис. ниже).

Зависимость эффективности нейронных сетей от количества данных

Нейронные сети

На рис. ниже показаны примеры нейронных сетей.

Архитектуры нейронных сетей (простой и глубокой)

У нейронной сети слева имеется 2 слоя нейронов. За слой будем считать именно число промежутков с ребрами, а не с вершинами.

Такая нейронная сеть считается мелкой и называется shallow network.

У нейронной сети справа 5 слоев, она уже считается глубокой. Заметим, что момент, с которого нейронная сеть считается глубокой, довольно условный. Идея лишь в том, что чем глубже нейронная сеть, тем бОльший вычислительный потенциал она в себе несет.

Именно с ростом глубины, то есть числа слоев в нейронных сетях, и связывают название «Deep learning».

Области применения

Перечислим области применения глубокого обучения в прикладных задачах:

Компьютерное зрение
Обработка естественного языка
Управление
Прогнозирование и классификация

Нейронные сети стали популярны именно благодаря тому, что стали намного эффективнее других алгоритмов машинного обучения в задачах компьютерного зрения и обработки естественного языка.

Отметим, что согласно статистике, уже в 2017 году рынок Глубокого Обучения только в США достиг 80 миллионов долларов, при этом прогнозируется, что в последующие годы эта цифра будет расти, прогнозируемый рост показан на рис. ниже.