Поговорим о термине, который знает каждый аналитик и о котором наверняка слышали те, кто видит себя в аналитике, но пока не получил профессию, а только интересуется. Как раз для таких людей и будет сегодняшняя статья. Термин называется - Big Data.
Буквально каждую секунду крупные и не очень компании во всем мире получают новую информацию. Но без обработки она практически бесполезна: никаких аналитических выводов и пищи для размышления.
Дата-аналитики собирают, очищают и интерпретируют огромные массивы данных — так они помогают бизнесу сократить издержки, найти возможности для развития и увеличить процент прибыли.
Что такое Big Data
Тут, в принципе, все ясно из самого названия, если вы хоть немного знаете английский. Big-большой, Data-данные. Следовательно, это словосочетание можно обозначить как - большие данные.
Проще говоря, Big Data — это термин, который используют для описания огромных, а порой колоссальных объёмов данных, которые не представляется возможным эффективно обработать с использованием традиционных методов аналитики.
Для обработки таких объемов данных применяют специальные технологии и специальное программное обеспечение. А как, собственно, аналитику понять большие это данные или обычные?
Существуют 3 главных характеристики, отличающие Big Data от другого рода данных, так называемые три V:
- Volume (с англ. объем),
- Velocity ( с англ. скорость).
- Variety (с англ. разнообразие).
Первая означает – большие объемы, вторая – острая необходимость в быстрой обработке и высокая скорость накопления этих данных, третья – разнообразие данных.
Таким образом, когда в работе аналитика соединяются все 3 эти характеристики, то это означает, что это Big Data и нужно использовать в работе специальные технологии и программное обеспечение.
Когда используют Big Data
Итак, Биг Дата принято использовать в следующих случаях:
- Когда объем данных поступаемый в течении 1 суток переваливает за 100 Гб.
- Когда непрерывно поступаемый объем данных для аналитика становится проблемным и он не справляется.
- Когда с поступаемыми данными не справляется один компьютер.
- Когда с данными начинает не справляться один аналитик.
- Когда поступаемые данные невозможно обрабатывать в Excel из-за их огромного объема.
- Когда для обработки данных нужно использовать больше одного инструмента.
Огромные объёмы информации используют для решения задач, требующих высокой точности прогнозов, поиска обоснований для тех или иных решений, персонализации сервисов.
Ниже, вы можете ознакомиться с некоторыми примерами использования Big Data в нашей с вами жизни.
Примеры применения Big Data
Вот несколько примеров того, как бизнес во всем мире использует возможности Big Data.
- Крупная авиакомпания следит за упоминаниями в соцсетях. Как только система распознает негативный отклик, сотрудники связываются с пассажиром для решения проблемы. Если при пересадке потерялся багаж, обещают разобраться и предлагают продолжить полет в первом классе. После этого клиенты пишут положительные отзывы, тем самым укрепляя репутацию компании.
- Банки, например, анализируют истории покупок клиентов по кредитным и дебетовым картам. А затем формирует персональные предложения с повышенным кэшбеком, таким образом повышая лояльность к своим услугам и увеличивая доход.
- Компания Target с помощью Big Data выявила 25 неочевидных товаров, покупка которых может указывать на беременность клиенток. Специальная рассылка для женщин помогла увеличить продажи товаров для новорожденных.
- Один крупный университет в США следит за успеваемостью студентов. Система Signals анализирует оценки и отправляет учащимся сообщения — напоминает о плохих отметках и рассказывает о негативных последствиях, которые наступят, если их не исправить.
- Страховое бюро Канады IBC борется с мошенничеством. За шесть лет аналитические системы обработали 223 000 исков и выявили незаконные обращения на сумму 41 млн. канадских $.
- Крупнейший торговый гигант Amazon при помощи Big Data формирует ленту рекомендаций для своих клиентов. Торговая сеть анализирует не только личные предпочтения клиентов, но и общие тенденции. Например, если 75% покупателей смартфона спустя время берут внешний аккумулятор, то компания предлагает его всем, кто интересуется этой моделью телефона.
Аналитика данных — не модный тренд, а жесткая необходимость для среднего и крупного бизнеса держаться на плаву и развиваться. От того, насколько эффективно компании и бренды будут ее использовать, зависит их место на глобальном рынке.
Кто работает с Биг Дата
Big Data - это отдельное ответвление в аналитике требующее особых навыков работы со специальным ПО и технологиями, поэтому, чтобы работать с большими объемами данных, не достаточно быть обычным аналитиком. Так кто-же работает с Биг Дата?
- Аналитик Big Data (Big Data Analyst). Должен разбираться во многих, довольно сложных для понимания обычного человека вещах, например: знать теорию вероятности, методы статистического анализа данных, язык программирования python и его фреймворки, SQL, программы для визуализации данных, операционную систему Linux и еще много всего.
- Data engineer или разработчик в сфере big data. Для этих специалистов важно, чтобы был опыт программирования (лучше хороший), понимание реляционных баз данных и работы таких систем, как Linux, Hadoop. Еще хорошо если вы будете знать такие языки как java и scala.
Также, существуют профессии косвенно соприкасающиеся с big data, например:
- Дизайнер интерфейсов.
- Маркетолог-аналитик.
- Разработчик и т.д.
Подписывайтесь на наш телеграмм, в котором мы публикуем анонсы новых курсов, новости, акции и скидки на обучении более чем 50 российских онлайн-школ и вы всегда будете в курсе того, что происходит на российском рынке онлайн-образования!
