На днях начал обучения на курсах newprolab и через 12 недель стану спецом по большим данным.
И для того, чтобы не терять информацию, буду делать здесь заметки. Мог бы и на Medium бы писать, его я давно читаю, но решил попробовать Я.Дзен. Новое всегда интереснее.
Ещё до занятия нас озадачили: поделили на группы, дали мешочек с разноцветными квадратами, и нужно было их отсортировать по цветам и сказать сколько карточек какого цвета в них. Тем самым подведя нас к Hadoop, которая могла бы облегчить наши мучения :)
Прикольный факт: Hadoop - технология для распределенного вычисления. Она названа в честь игрушечного слона ребенка разработчика. Отсюда эмблема в виде слона.
Итак, на первом занятии мы начали с основ, а именно с линукса. Учились подключаться по ssh к серверу, а ещё вспоминали базу по работе с командной строкой. Управление файлами, запросы, пакеты, шаблоны. Эти основы я знал и до того, но все таки некоторые примочки были новыми.
А потом с головой ушли в лабу. Задачей было посчитать сколько всего выплатили денег за рекламу в каждой стране. Дали исходные данные - это логи о цене за баннерную рекламу в разных странах. В итоге мы создали кластер серверов и обработали эту информацию.
Два ГИГА за минуту, Карл!
Вот такого раньше я не видел, чтобы инфа обрабатывалась с такой скоростью.
Следующее занятие во вторник, жду новых тасков.
Фото сделал 24 марта, во время лекции, чтобы точно запомнить первый день.
