BigDataBoss

На этом занятии мы узнали а зачем бизнесу нужен анализ данных. Анализ данных помогает бизнесу увеличивать рост (выручка, рыночная доля, аудитория и т.д.), а также оптимизировать процессы (сокращение издержек, улучшение качества и т.д.) У многих компаний за годы работы может накопиться много данных. Их можно монетизировать - т.е. использовать для повышения эффективности существующих процессов или для создания новых продуктов. Но данные нужно использовать эффективно, в этом может помочь теория принятия решений...

16 июня закончилась программа NewProLab BigData 3 месяца за которые мы узнали очень много: python, ml, hadoop, spark, deeplearning, рекомендательные системы. Но это только начало, еще нужно многое изучить и постоянно развиваться. Было интересно и полезно, нашел новых друзей и стал лучше разбираться в том, как все это работает...

14 июня я получил специальный приз от Мегафона за решение задачи. Это была 10я лабораторная работа у нас на курсе. Нужно было предсказать купит ли пользователь телепередачу или нет. Я набрал максимальный скор. Основная проблема, которую я выделил - несбалансированный датасет. На 5млн строк, в которых передачи не купили, приходилось только 10к, которые купили...

Сегодня была интересная лекция про storytelling. Сейчас создать хорошую модель не так уж и сложно, гораздо сложнее убедить людей в том, что это круто и полезно, в чем я сам убедился на различных хакатонах. Как же эффективно презентовать свою модель? Александр рассказал про вещи, на которые нужно обращать внимание в первую очередь. Контекст: при презентации нужно учитывать кому ты рассказываешь, в какой момент, офлайн или онлайн. На конференции мы можем рассказать о модели в мельчайших подробностях,...

На этих занятиях мы научились работать с библиотекой pyspark.ml, которую можно назвать аналогом sklearn, но для работы в Spark. Преимущество этой библиотеки - она позволяет обучать модели распределенно, однако хорошо себя показывает только на больших объемах данных. Обучение и создание моделей примерно такое же как в sklearn: импортируем нужную модель, берем данные и обучаем на них. Также есть инструменты для токенизации, работы с текстом и проверки качества модели. Ну и классификация с кластеризацией такие же как в sklearn...