Hadoop 3 — мажорная версия фреймворка для разработки и выполнения распределенных программ.
Hadoop 3 вышел в 2017 году, а недавно он стал доступен на облачной платформе Mail.ru Cloud Solutions в виде PaaS-решения на базе дистрибутива Arenadata.
Для пользователей облачного Hadoop версий 1 и 2 расскажем о новых возможностях третьей и почему стоит перейти на нее.
Erasure Coding: уменьшение избыточности хранения
В Hadoop 2 для обеспечения отказоустойчивости используется репликация. Это значит, что все данные хранятся в избыточном состоянии. По умолчанию коэффициент репликации равен трем, то есть все данные хранятся в трех репликах: основные данные плюс две копии.
Например, файл весом 1 Гбайт хранится в четырех блоках по 256 Мбайт. Для каждого из этих блоков создается по две дополнительные копии, в результате все это занимает 3 Гбайт. Избыточность хранения составляет 200%.
Hadoop 3 использует другой подход — Erasure Coding. Это способ фрагментации данных, при котором создаются лишь несколько дополнительных блоков четности. Они хранят информацию о том, как восстановить остальные блоки в случае их недоступности. Подробнее о том, как это работает.
В этом же примере с подходом Erasure Coding будет использовано всего два дополнительных блока, и вместе данные будут занимать 1,5 Тбайт. Это 50% избыточности хранения.
Поддержка более двух NameNodes: повышение отказоустойчивости
В Hadoop 2 может быть один активный и один резервный управляющий узел (NameNode). Это означает, что кластер может выдержать выход из строя только одного узла. Если из строя выйдут два узла, кластер будет недоступен.
Hadoop 3 может обеспечить более высокую отказоустойчивость — теперь он поддерживает несколько резервных NameNodes. Таким образом, кластер может выдержать выход из строя двух и более управляющих узлов.
YARN Federation: масштабирование до 100 000 узлов
Изначально YARN проектировался для масштабирования до 10 000 узлов. В новой версии Hadoop появился YARN Federation, который позволит масштабировать YARN на 40 000 или даже 100 000 узлов. Это пригодится высоконагруженным приложениям.
Новые типы ресурсов YARN: пользовательские исчисляемые ресурсы
Модель ресурсов YARN была обобщена для поддержки дополнительных исчисляемых типов ресурсов, помимо CPU и RAM. Например, администратор кластера может определить такие ресурсы, как графические процессоры, лицензии на ПО или локально подключенное хранилище.
Это позволяет планировать задачи в YARN в зависимости от доступности этих ресурсов. Например, при планировании задач можно учитывать количество доступных лицензий на ПО или свободное место на дисках.
YARN Timeline Service 2: масштабируемое backend-хранилище
Timeline Server отвечает за сбор и поиск информации о запущенных приложениях в кластере. Timeline Service 2.0 — это следующая крупная итерация Timeline Server после v.1. Версия v.2 решает две основные проблемы версий v.1:
- Масштабируемость. Версия v.1 имеет один экземпляр устройства чтения/записи и хранилища и не может масштабироваться за пределы нескольких узлов. Версия 2 использует более масштабируемую распределенную архитектуру записи и масштабируемое backend-хранилище. YARN Timeline Service v.2 отделяет сбор данных от обслуживания.
- Удобство использования. YARN Timeline Service v.2 поддерживает агрегирование информации на уровне потоков или логической группы приложений YARN.
Task heap management: автонастройка размера кучи (heap)
В Hadoop 3 представлены новые методы настройки размеров кучи. Теперь возможна автонастройка в зависимости от размера памяти хоста, а переменная HADOOP_HEAPSIZE устарела. Желаемый размер кучи больше не нужно указывать в конфигурации задачи и в качестве параметра Java.
Java 8
Hadoop 2 работает на Java Development Kit 7. Apache Hadoop 3 перешел на Java Development Kit 8. Помимо самого Hadoop 3, поддержка JDK 8 присутствует в его компонентах HBase 2.0, Hive 3.0 и Phoenix 3.0.
Автор: Марат Талипов
Источник: https://mcs.mail.ru/blog/why-hadoop-aas-users-need-to-upgrade-to-version-3
Читайте также статьи по теме:
Зачем нужен Hadoop
Быстрые и сверхбыстрые диски в облаке: как получить максимум от облачной системы хранения данных
Как и зачем «Ашан» построил платформу для работы с Big Data в публичном облаке