Привет! *ТАМ СЯМ* на связи! В этой статье мы обсудим Spark и его влияние на нейронные сети, а также развитие нейронных сетей на Spark.
Что такое нейронная сеть?
Нейронная сеть - один из многих методов искусственного интеллекта (ИИ) представления знаний. Его можно описать как перечисление (или модель) функций (точек данных) набора точек данных. Каждая точка данных считается отдельным лицом (или узлом) в сети. Точки данных выбираются и используются в процессе обучения. Однако в процессе обучения нейронная сеть становится мощным средством для решения конкретных проблем или задач.
Нейронные сети отличаются от алгоритмов обучения с учителем, поскольку их необходимо обучать в задаче обучения с учителем. Вот почему существуют различия в методах обучения для контролируемых и неконтролируемых методов обучения. Для обучения с учителем вам потребуется собрать точки данных для обучения, а также у вас будет четкая цель или исходные данные. Затем вам нужно будет включить результаты контролируемого обучения, чтобы исправить проблему или ответить на вопрос. Например, если вы пытаетесь спроектировать автомобиль и не знаете, сколько топлива требуется для его работы, вы можете собрать и проанализировать данные об автомобилях, прежде чем спроектировать автомобиль, отвечающий требованиям. Затем, когда вы собираете и анализируете данные об автомобилях после проектирования автомобиля, вы можете понять, какое топливо или какой двигатель требуется для этого автомобиля. Используя результаты контролируемого обучения, вы можете спроектировать двигатель, отвечающий требованиям автомобиля.
Для обучения без учителя вам придется начать с нуля и изучить правила, которые заставляют определенный алгоритм (или точку данных) работать для определенной задачи. Например, если у вас есть iPhone, и вы хотите сыграть в игру на телефоне, вы можете научиться определять, как телефон реагирует на ваш ввод. Затем вы можете создать алгоритм, который определенным образом реагирует на ваш ввод.
Резюме Spark MLlib
Spark - это библиотека машинного обучения с открытым исходным кодом, которая помогает разрабатывать и обучать модели машинного обучения (с использованием TensorFlow, PyTorch, Theano и Torch), оптимизированные для крупномасштабной распределенной обработки. Spark действительно эффективен, потому что не требует каких-либо зависимостей, конфигурации и создает базовую среду для начала использования моделей машинного обучения.
Что такое SparkML?
SparkML - это модель машинного обучения, созданная на основе Spark ML. Это внутренний инструмент для использования данных Spark MLlib из источника данных или серверной части. SparkML построен на основе Spark SQL и Spark Streaming, чтобы вы могли запрашивать данные для получения результатов. Он построен со всеми необходимыми библиотеками инженерии данных.
SparkML позволяет выполнять и преобразовывать модели машинного обучения. Вы также можете создавать новые модели машинного обучения на основе SparkML.
Что такое Spark SQL?
SparkSQL - это инструмент доступа к данным библиотеки машинного обучения. SparkSQL позволяет запрашивать базовую модель Spark ML (или экземпляр модели ML) через SQL. Это позволяет выполнять запросы к модели или экземпляру модели и выполнять полученные запросы. Это замечательно, если вы хотите создать настраиваемую отчетность по модели.
SparkML 1.1 (предварительная версия)
SparkML 1.1, предварительная версия Spark ML, включает в себя все новые функции и API-интерфейсы, которые обсуждались в кратком курсе Spark MLlab: эффективное изучение ML с использованием Spark и Spark MLlib, а полная версия будет доступна в начале 2018 года.
Наиболее важной особенностью Spark ML 1.1 является поддержка синтаксиса Python 3.6 (Python 3.6 официально не поддерживается Python 2.7). Он также содержит совершенно новый синтаксический анализатор, быстрое создание профилей, значительно улучшенный оптимизатор по умолчанию и лучшую модель производительности.
Вот список новых API в Spark ML 1.1:
Новые методы анализа поддерживают точность, точность, отзыв и грубую точность MLLib, которая поддерживается как модель в памяти.
Автоматическая конфигурация кластера и примеры примеров наборов данных: экспорт данных и создание рецептов.
Новые источники данных: индекс, HRD (данные об объеме тепла), данные журнала.
Улучшенная визуализация алгоритмов: динамически оцениваемое среднее значение, медиана, режим, квантили и статистика.
Модели и экземпляры: поддержка полных объектов сетки MatLab и определение нового многомерного массива.
Spark ML 1.1 можно использовать как автономный инструмент, но он идеален в сочетании с пользовательским интерфейсом (UI), таким как R или Python, а Python используется в качестве инструментария UI для создания аналитики с использованием моделей.
Почему Spark 1.1?
Команда Spark ML переписала Spark SQL для поддержки новых функций, представленных в Spark ML. Spark SQL уже имел поддержку синтаксиса Python 3.6, и эта новая поддержка была необходима, чтобы подготовить его к Spark ML 1.1. Тот факт, что он использует синтаксис Python 3.6, и эта новая поддержка была необходима, чтобы подготовить его к Spark ML 1.1. Тот факт, что он использует синтаксис Python 3.6, не является проблемой, но он создает много работы для разработчиков, которые должны внести изменения в свой исходный код. В результате использование Spark SQL становится проще, проще и быстрее.
Spark SQL поможет вам:
Используйте многие из наиболее часто используемых библиотек машинного обучения без изменения кода.
Используйте Spark SQL для анализа данных.
Создавайте новые анализы, библиотеки и графики.
Используйте возможности SQL в Spark SQL для управления данными.
Поддержка расширенных функций.
Почему именно Spark Streaming?
Spark Streaming позволяет передавать данные из источника в целевой (например, MLlib), выполнять анализ данных, а затем отправлять данные обратно в источник. Проблема в том, что конвейеры данных, использующие Spark Streaming, позволяют передавать данные только для определенных операций. Так что это должно быть сделано с помощью Spark SQL или Spark MLlib.
В Spark Streaming есть много других полезных функций. Однако мы обсудим несколько важных функций, которые необходимы для машинного обучения в Spark Streaming.
Программируемый ввод и вывод:
Вы можете указать, какой ввод использовать (например, входной файл или база данных), место назначения (например, хранилище в памяти или база данных SQL) или какой тип вывода будет иметь (например, структурированный или случайный массив ).
Программируемые входы и выходы:
Вы можете указать, какой тип данных передавать (например, из JSON в таблицу базы данных H2) и насколько большим должен быть набор результатов (например, это может быть текстовый файл, файл CSV или результат фильтра. , и так далее).
Поддерживает конвейерные вычисления
Алгоритмы обработки в Spark Streaming включают следующее:
Кластер, фьючерсы и обещания
Самоанализ
Параллельная неизменяемая обработка
Распределенная обработка и параллелизм
Список поддерживаемых алгоритмов параллельной и неизменяемой обработки и результатов, а также их входных и выходных данных аналогичен списку в Spark ML. Вы можете выполнять пакетные задания с помощью Spark Streaming.
Федерация и формирование кластера
Помните, что каждый раз, когда вы меняете определение любого из типов ввода или вывода, вы должны проходить настройку. Spark Streaming поставляется с большим количеством предопределенных конвейеров, но вы также можете использовать свои собственные конвейеры или создавать свои собственные конвейеры.
Вы можете создать политику выполнения так же, как параллельные и неизменяемые алгоритмы обработки. Следующее может использоваться для создания политики, которая запускает задания в пакетах и использует разные входные и выходные данные для каждого пакета, например, файл JSON или базу данных H2.
Если тебе понравилась статья, то поставь свой лайк и подпишись на канал, чтобы не пропускать еще больше интересных статей. Спасибо, что дочитал(а) до конца. Пока-Пока!