На осмысление последней лекции в newprolab, которая была в субботу (31.03) у меня ушло много времени.
Занятие было чисто лекционным, никакой практики. И на нём мы проходили HDFS (Hadoop Distributed File System) - и как стало понятно из расшифровки аббревиатуры, это файловая система Hadoop. Мы полностью разобрали ее архитектуру от и до, и прошлись по командам для работы с этой системой в консоли.
Но вот самым интересным оказался факт, что Hadoop используется в Spotify и Last.fm.
Spotify — это один из лучших стриминговых сервисов в мире, который позволяет бесплатно слушать музыку и делает классные подборки по твоему вкусу (как раз таки благодаря анализу больших данных). Нашел алгоритм, по которому spotify анализирует музыку, очень занятно.
А Last.fm — это система рекомендующая музыку, основанная скробблинге - службе, которая отправляет информацию о прослушанных тобой треках, учитывает это и дает рекомендации.
Отметил блоги, которые надо мониторить по этой теме:
cloudera - это компания, разработчик программного каркаса Apache Hadoop. - Cloudera Enterprise.
hortonworks - с аналогичным продуктом - Hortonworks Data Platform.
О разнице этих продуктов и их строении классно описано здесь.
А под конец занятия, посоветовали книгу "Hadoop. Подробное руководство" Тома Уайта.
Следующее занятие уже сегодня, жду :)