Найти тему
BigDataBoss

HDFC, Hadoop, Spotify и Last.fm

На осмысление последней лекции в newprolab, которая была в субботу (31.03) у меня ушло много времени.

Занятие было чисто лекционным, никакой практики. И на нём мы проходили HDFS (Hadoop Distributed File System) - и как стало понятно из расшифровки аббревиатуры, это файловая система Hadoop. Мы полностью разобрали ее архитектуру от и до, и прошлись по командам для работы с этой системой в консоли.

Но вот самым интересным оказался факт, что Hadoop используется в Spotify и Last.fm.

и кстати, многие считают эти фирмы конкурирующими, но это не так. Они уже объединялись и не раз, и создавали вместе неплохие музыкальные приложения.
и кстати, многие считают эти фирмы конкурирующими, но это не так. Они уже объединялись и не раз, и создавали вместе неплохие музыкальные приложения.
Spotify — это один из лучших стриминговых сервисов в мире, который позволяет бесплатно слушать музыку и делает классные подборки по твоему вкусу (как раз таки благодаря анализу больших данных). Нашел алгоритм, по которому spotify анализирует музыку, очень занятно.
А Last.fm это система рекомендующая музыку, основанная скробблинге - службе, которая отправляет информацию о прослушанных тобой треках, учитывает это и дает рекомендации. 

Отметил блоги, которые надо мониторить по этой теме:

cloudera - это компания, разработчик программного каркаса Apache Hadoop. - Cloudera Enterprise.
hortonworks - с аналогичным продуктом - Hortonworks Data Platform.
О разнице этих продуктов и их строении классно описано здесь.

А под конец занятия, посоветовали книгу "Hadoop. Подробное руководство" Тома Уайта.

Следующее занятие уже сегодня, жду :)