Big Data: отрасль программирования и информационных технологий в русле обработки и использовании огромных пластов информации и данных.
Где используется?
Везде где есть много данных и их можно использовать для оптимизации или решения задач применимы технологии Big Data:
- Медицина
- Безопасность
- Эффективность труда
- Социальные сети
- Маркетинг
- … и многое другое
Приведу примеры применения:
- Поведение покупателей в интернете или поведенческие маркеры в соц.сетях. Берём миллион человек и выявляем идеальную воронку продаж для каждого индивидуально или для всех в целом.
- Или анализируем поведенческие моменты в финансовом банковском поле: пользование картой, он-лайн покупки, географию проживания и перемещения клиента и так далее... и выявляем ошибки и нарушения. То есть возможно предотвращение мошенничества.
- Или анализируем данные по просмотрам контента, поведению в сети и в целом настроение пользователя и рекомендуем пользователю именно ту музыку, видео, текст, что ему будет актуальным.
- Или анализируем поведение пользователя в сети и соц.сетях и, возможно предотвращение суицида или иных девиантных, опасных или незаконных действий юзера.
Базы данных напрямую повязаны с разработками в области ИИ, именно Искусственный интеллект в помощь при обработки эксабайтов данных.
Суть работы с Big Data
Есть много данных - нужно их использовать с пользой, сделать выводы и применить на практике. Набор языков или утилит, что пригодятся в работе с базами данных:
- Python
- R
- Julia
- Java
- Scala
- MATLAB
- Kafka
- Hadoop
Суть проста: Приручить терабайты цифр и чисел и очеловечить их для понимания и последующего использования.
Минусы работы с Big Data:
- Работа с Биг Датой - нужна гос.структурам, большим корпорациям и брендам - то есть найти заказчика и работу не так просто, как, например, на создание сайта.
- Учиться придётся много. Это не картинки в инсте постить. Это серьёзная работа.
- English language - полезный скилл для понимания мануалов и работы с иностранными коллегами.
- ПК нужен помощнее. Без ТОПовой железяки можно работать, но на минималках не подъедешь. Одному тут особо не наработаешь. Нужны либо команда, либо проекты побольше.
Плюсы работы с Big Data:
- Невысокая конкуренция. Бигдате в современном понимании лет 10, а спрос на неё только растёт.
- У направления есть будущее. Завтра и послезавтра найдётся работа. Сферы применения только ширятся.
- Методов сбора данных всё больше и работать с ними так же кто-то должен.
- Мануалов, обучающих курсов и информации по работе с БигДатой всё больше и больше.
- Платят хорошо. "Хорошо", конечно, у всех свой, но по местным меркам выше среднего.
- Хороший прогер по BigData полезен и ценен не только в России, но и по всему миру.
Сколько можно заработать?
- Начальный заработок на фрилансе: от 15 000р*
- Начальный заработок в компании: от 60 000р
- Максимум заработка: 350 000р**
Время обучения до первого заработка: 10 месяцев
*В расчет берутся города помимо Мск и Санкт-Петербурга. Первичный заработок на фрилансе - это один первый проект.
**Максимум заработка, подразумевает, что специалист работает один. Без подчинённых и занимается только этим видом деятельности.