Machine Learning: этапы, методы, типы и алгоритмы машинного обучения

Машинное обучение — что это? Пользователи взаимодействуют с компьютерными системами и приложениями при помощи языков программирования и различных интерфейсов. Например, дизайнеры рисуют картинки в графических редакторах, а аналитики обрабатывают сведения при помощи запросов к базам данных. Но когда нужно быстро перевести речь или проанализировать большой пласт информации в режиме реального времени, на помощь приходят технологии машинного обучения (от англ. machine learning, ML). Такой подход используется, чтобы научить компьютер самостоятельно думать и выдавать результат, не дожидаясь команд в интерфейсе. Так, машинное обучение — это совокупность методов искусственного интеллекта, при помощи которых создаются саморазвивающиеся модели, например нейросети. Такие системы учатся принимать эффективные решения на основании предоставленных данных и критериев для корректных выводов. Этапы машинного обучения Для принятия взвешенных решений, построения прогнозов, классификации данных и других задач требуется четкое планирование при создании ИИ-модели. И этот процесс включает ряд важных этапов. 1. Постановка задачи Звучит банально, однако от правильной постановки технического задания во многом зависит эффективность процесса ML. Ведь на этом этапе определяются ключевые вводные: тип модели, используемые методы обучения, обработка данных и другие. 2. Сбор данных Источниками вводных могут служить CRM-системы, социальные сети, сайты, умные устройства, приложения и множество других сервисов. При этом качество данных существенно влияет на работу будущей модели. Поэтому важно продумать способы хранения информации. Например, S3 — экономичное решение для неструктурированных данных. Для соблюдения требований законодательства о защите информации чувствительные сведения следует хранить в S3 с повышенными стандартами безопасности. А для работы со строго или частично структурированными данными используйте наши защищенные облачные СУБД — гибкое, надежное и отказоустойчивое решение для проектов любого масштаба. 3. Обработка данных Без предварительной корректировки даже самый хитрый алгоритм может не спасти ситуацию. Поэтому данные следует чистить и переводить на понятный машине язык. Для этого нужно удалить дубли и ошибки, заполнить пропущенные значения, преобразовать текстовые категории в понятный ИИ формат, например One-Hot Encoding, и проделать ряд других шагов. При этом для работы с определенными алгоритмами, например SVM или KNN, о которых мы поговорим дальше, полезно привести данные к единому формату. 4. Выбор модели и обучение В начале этого этапа данные делят на три части: обучающую — для тренировки модели; валидационную — для настройки параметров; и тестовую — для финальной оценки. Здесь же в зависимости от типа задачи и данных выбирается алгоритм обучения и определяется подходящий тип модели: линейная регрессия, дерево решений, SVM, KNN и другие. Затем модель сканирует обучающий набор данных, ищет закономерности и корректирует свои параметры. 5. Валидация и тонкая настройка Далее модель проверяют на валидационной выборке, чтобы настроить тонкие параметры. Для более точной оценки может проводиться переобучение на разных разбивках данных. На этом этапе модель можно ускорить или упростить. 6. Оценка на тестовой выборке После дополнительных корректировок и настроек проводится повторная проверка. На этот раз на незнакомых данных. Для разных моделей проверяются определенные параметры. Например, для классификации высчитывается точность и полнота. А для регрессии — коэффициент детерминации и другие критерии. По сути, данный этап демонстрирует реальное качество модели. 7. Развёртывание и мониторинг Затем готовую и настроенную модель внедряют в рабочую среду: сайт, приложение, корпоративную систему и другие. Здесь она уже работает с реальными данными и решает задачи проекта. При этом работа модели постоянно отслеживается и при необходимости корректируется. Например, со временем может возникнуть дрейф данных — искажение анализируемых сведений в сравнении с обучающими. В таком случае нужно оперативно переобучить модель на свежих данных. Основные методы машинного обучения Хотя сегодня и выделяют целых три типа искусственного интеллекта, в реальности из них существует лишь один — узкий или слабый. Такой ИИ способен браться за небольшой пул поручений и во многом привязан к своим первоначальным возможностям. Методы машинного обучения — это группы задач, по которым может проводиться создание и развитие ИИ-модели. Классификация предполагает распределение или разделение объектов по разным категориям. Например, этот метод может использоваться в компьютерном зрении автопилотов, чтобы помогать ИИ прокладывать оптимальный маршрут. Или в роботах-манипуляторах, чтобы разделять целые и поврежденные элементы. Регрессия в машинном обучении помогает ИИ составлять прогнозы по взаимосвязи переменных. Например, на сколько пользователю хватит баланса в облаке — зависит от средств на счете и параметров выбранной конфигурации. Кластеризация — метод машинного обучения в виде группировки данных. Выделяются максимально непохожие друг на друга категории без изначально заданных критериев. Так можно обнаружить сегменты в чем угодно. Например, пользователей, которые совершают платежи в ночное время. Уменьшение размерности — помогает убрать из анализа не используемые признаки без потери информации. Как вариант, может использоваться для обучения алгоритма на ключевых признаках, например стоимости или цвете. Типы машинного обучения Процессы ML могут отличиться в зависимости от влияния человека и некоторыми другими факторами. Машинное обучение с учителем Наставник, например дата-сайентист или аналитик, предоставляет ИИ какие-то вводные для обработки данных, например, как различать объекты и находить закономерности. Затем проверяет работу модели и, если результат остается неудовлетворительным, продолжает вносить коррективы в процесс обработки. Может использоваться для настройки фильтрации и компьютерного зрения, классификации документов и других задач. Машинное обучение без учителя ИИ-модель всё делает сама. Обычно такой тип ML используется для обработки громадных объемов данных и устранения слепых зон. Например, когда специалист рассчитывает выявить аномалии, но самостоятельно сделать этого не может. Машинное обучение без учителя может применяться в рекомендательных системах, управлении рисками и других направлениях. ML с частичным участием учителя Гибридный сценарий, при котором AI-специалист оставляет разметки на небольшой части данных, делая их более понятной для машины. А весь остальной массив — предоставляет компьютеру на самостоятельную обработку. Может применяться, когда сложно или и вовсе нельзя провести полную разметку. Машинное обучение с подкреплением В реальной жизни навыки осваиваются и закрепляются исключительно на практике. Особенно когда большую роль играют переменные и уникальные условия. По этой причине некоторым ИИ-моделям важно оперативно получать положительные или негативные сигналы в ответ на деятельность. Например, автопилоты обучаются на симуляции реальной среды с учетом таких случайностей, как погодные условия и непредвиденные ситуации на дороге. Глубокое обучение Модель нейронной сети, которая непрерывно учится на собственных ошибках, постепенно улучшает результат и тренируется находить оптимальные решения. Deep Learning применяется в компьютерном зрении, распознавании человеческой речи и машинных переводах. Из чего состоит машинное обучение Чтобы научить ИИ самостоятельно думать и действовать, понадобится несколько компонентов. Датасеты — наборы определенных данных, на которых обучаются ИИ-модели. Это могут быть изображения, видео, документы, числовые значения. Напоминаем: большие объемы контента можно экономично хранить в нашем S3, включая его защищенную версию. А для гибкой и надежной работы с базами данных используйте наши облачные СУБД с высокими стандартами безопасности. Алгоритмы — наборы функций, которые используются для обучения ИИ-моделей на основе данных и способов их обработки. Например, линейная регрессия помогает прогнозировать числовые значения на основе зависимости между переменными. При этом чтобы добиться большей производительности, можно применять несколько алгоритмов. Функции — используются внутри алгоритмов и обычно представляют собой математические операции, которые помогают обучить модель. Например, функция потерь помогает измерить точность предсказаний AI и обновляет параметры искусственного интеллекта. Алгоритмы машинного обучения Существует множество способов научить ИИ эффективно размышлять и выдавать результат. Вот несколько примеров. Наивный Байес Используется для фильтрации спама, в системах рекомендации, классификации текста и других задач. Основан на теореме Байеса, при помощи которой можно определить вероятность одного события при наличии его зависимости от другого. Наивный — потому что допускает серьезные допущения в виде условностей: если круглый — то мяч, если зеленый — то огурец. Однако на практике и с учетом контекста может быть крайне эффективен, так как упрощает вычисления и само обучение. Логистическая регрессия В машинном обучении используется как статистическая модель, которая выводит вероятность того, что некий объект относится к определенному классу. И как следствие, может рассчитать вероятность события на основании переменных. Например, может спрогнозировать динамику состояние пациента, опираясь на симптомы и другие сведения. Деревья решений Алгоритм, который пропускает данные сквозь структуру условий вида: «если — то». Предполагает ответы «да или нет», «верно или ложь», а также числовые и другие значения. Комбинация ответов позволяет отнести объект к определенной категории и принять решение. Например, поставить пациенту диагноз по его симптомам, одобрить или отклонить кредит на основании истории клиента, составить сегмент пользователей для таргетирования рекламы. Машины опорных векторов (МОВ) или Support Vector Machines (SVM) Универсальный метод для разделения классов объектов. Представим, что у нас есть бумажный лист и два набора точек: красные и черные. Наша задача — разделить их на две группы по цвету. Для этого нужно провести на листе прямую линию так, чтобы красные и черные точки оказались по разные стороны от нее. И МОВ стремятся сделать это так, чтобы ближайшие (опорные) точки каждого цвета были максимально удалены от разделяющей их линии. Такой подход обеспечивает высокую точность прогноза для новых данных, а потому применяется для решения множества задач: определения объектов на изображениях, распознавания цифр, букв и других элементов; классификации образцов клеток, анализа последовательностей ДНК и белков; фильтрации спама в электронной почте, определения тематики документов или анализа эмоциональной окраски; обнаружения мошенничества, например в проведении нетипичных финансовых транзакций и необычном поведении пользователей. Метод K-ближайших соседей (KNN, K-Nearest Neighbors) Алгоритм для анализа новых данных при их сопоставлении с уже изученными. Это выглядит следующим образом. Когда появляется новая точка данных, для которой нужна классификация или прогноз, KNN выполняет следующие шаги: Вычисляет расстояния между новой и всеми существующими точками в наборе данных. Выбирает из набора К точек — ближайших соседей относительно новой. Если нужна классификация, присваивает новой точке класс, наиболее популярный среди ее ближайших соседей. А если прогноз — высчитывает среднее арифметическое значений ее K ближайших соседей. В результате KNN-метода ИИ-модель учится рекомендовать похожие фильмы, распознавать изображения, классифицировать заболевания и анализировать генетические данные. А еще определять местоположение устройства в помещении по данным Wi-Fi или Bluetooth. А также выявлять аномалии — самые удаленные точки в анализируемом наборе данных. Нейронная сеть и машинное обучение Более глубокий алгоритм с системой взаимосвязанных узлов. Такая структура вдохновлена нашим мозгом и использует множество нейронов для обработки информации. Один слой получает данные. Другие — проводят с ними необходимые операции. И затем последний выводит конечный результат. Например, в виде классификации или регрессии. При этом нейросети могут непрерывно обучаться, улучшая результат выдачи. И за счет всех своих возможностей используются для генерации контента, распознавания речи, прогнозирования и других задач. Инфраструктура для машинного обучения Алгоритмы ML требуют большого количества вычислительных мощностей. И для таких задач отлично подходят серверы с GPU: физические и облачные. Профессиональные графические процессоры имеют множество ядер и тем самым эффективно справляются с параллельными вычислениями. При этом облачная инфраструктура поможет обеспечить высокую гибкость и масштабируемость задачам ML. Облака особенно актуальны для проектов с непрогнозируемой нагрузкой и работающим с большими объемами данных. У нас вы можете воспользоваться целой экосистемой cloud-сервисов, включая виртуальные серверы, СУБД, объектные хранилища и множество расширенных функций. А еще вы можете построить собственное облако при помощи платформы виртуализации hoster cloud. Это гиперконвергентное решение для создания и управления виртуальной инфраструктурой, в основе которого используется гипервизор KVM. Примеры использования машинного обучения Рекомендательные системы Интернет-магазины, социальные сети, сервисы видеохостинга и другие ресурсы учатся анализировать поведение пользователей и предлагать релевантные, товары или контент. Например, модель может заметить по базе, что 37% пользователей покупают к смартфону чехол или защитное стекло. И тогда такие товары будут отображаться у пользователей, оформляющих заказ. Это применимо к любым продуктам и повышает конверсию. Видеохостинг предлагает контент на основании просмотренного. А социальные сети рекомендуют подписаться на страницы наподобие тех, с которыми пользователь часто взаимодействует. Выявление мошеннических операций Часто банки отслеживают статистику своих клиентов и могут зафиксировать транзакцию с незнакомого устройства или подозрительную активность. Например, нетипично крупные или повторяющиеся переводы. И это помогает предотвратить хищение средств. А еще мы используем машинное обучение в нашей платформе hoster Guard — SaaS-решении для комплексной защиты сайтов и приложений от кибератак. ML помогает модулям непрерывно обучаться, чтобы превентивно реагировать на угрозы, быстро определять и устранять их. Прогнозирование погоды ML умеют отслеживать и анализировать температурные показатели, давление и другие климатические данные. Это помогает автоматизировать подготовку и точность предполагаемых прогнозов погоды. Постановка диагнозов В медицине применимы различные модели и виды машинного обучения. ML помогает выявлять симптомы и ускорять их анализ. А еще — умеет обнаруживать слепые зоны и акцентировать внимание на аномалиях. Например, за счет этого врачи могут обнаружить на ранних стадиях признаки опасного заболевания. Распознавание речи ML всё эффективнее распознает речь, улучшая бизнес-процессы и предоставляя новые возможности для сферы развлечений. Например, коллеги, говорящие на разных языках, могут отлично понимать друг друга на видеоконференции за счет перевода в реальном времени. ]]>