Последние несколько лет мы все чаще и чаще слышим словосочетание Big data. Об этом пишут в СМИ, рассказывают в образовательных подкастах, говорят в офисе. Но что такое Big data и как это работает? Вместе с онлайн-школой SkillFactory мы ответим на часто задаваемые вопросы.
Давайте для начала разберемся, что такое Big data?
Big data — это термин, который обозначает большие данные. Впервые его употребил в 2008 году Клиффорд Линч, редактор журнала Nature, в спецвыпуске о взрывном росте объемов информации. По словам специалистов, к большим данным относятся потоки информации более 100 Гб в день. Большие данные существовали всегда (базы данных клиентов, кредитных историй, перелетов и т.д.). Сейчас благодаря развитию цифровых технологий появилось еще больше данных и более сложные инструменты для их обработки.
По подсчетам аналитиков в 2005 году мир оперировал 4-5 Эб информации (4-5 миллиардов Гб). В 2015 году показатели возросли до 7 Зб. Эксперты прогнозируют, что в 2020 году эти показатели достигнут 42-45 Зб информации.
Понятно, а зачем это нужно?
Аналитика Big data используется во всех сферах жизни: политике, здравоохранении, бизнесе, финансах. Зная и обрабатывая большие объемы информации, мы можем спрогнозировать спрос на продукцию, предотвратить катастрофы, найти лекарства от неизлечимых болезней. Big data используют такие крупные компании как: IBM, Google, Facebook, VISA, Mastercard, Apple, Яндекс, Сбербанк, Билайн и многие другие.
Благодаря аналитике больших данных штаб Трампа смог провести правильную рекламную кампанию в социальных сетях и тем самым увеличил его шансы на победу. А Центр детской Геномной медицины в Канзас-Сити использует Big data для быстрой расшифровки ДНК и анализа мутаций генного кода, который вызывает рак. MasterCard используют большие данные для предотвращения мошеннических действий со счетами. Благодаря этому ежегодно удается спасти от кражи более $3 млрд.
Многие из нас каждый день пользуются онлайн-картами для того, чтобы проверить подъезжает ли нужный транспорт к остановке или нет. В новой версии Google карт приложение предсказывает задержки в движении общественного транспорта даже тогда, когда у него нет доступа к данным текущего местоположения автобусов. Алгоритм учитывает все факторы — пробки, выделенные полосы, расположение остановок. Получается, что мир Big data помогает вам вовремя доехать до университета или офиса.
Приведем еще один пример из повседневной жизни. У вас было такое, что вы сделали покупки в супермаркете у дома, а через пару дней получили промокод со скидкой на нужные вам товары? Благодаря Big data маркетологи смогли спрогнозировать ваши потребности и сделать выгодное предложение.
А откуда компании получают информацию?
Каждый из нас ежедневно оставляет множество цифровых следов. Мы совершаем транзакции по кредитным картам, ищем информацию в поисковиках, размещаем фотографии в социальных сетях, попадаем на камеры видеонаблюдения, используем GPS и т.д. Все эти данные хранятся на носителях государственных организаций и частных компаний. Только с камер видеонаблюдения Москвы ежедневно записывается 450 лет видео, а в Facebook хранится 250 млрд изображений.
Чем больше становится данных, тем сложнее их обрабатывать. Информация начинает терять актуальность все быстрей и быстрей. Big data — это не только сбор больших объемов информации, но и их организация, анализ и прогнозирование.
Востребована ли профессия Data Scientist в России?
Да, востребована. Все больше и больше компаний малого, среднего и крупного бизнеса начинают использовать данные Big data. В 2019 году важность работы с большими объемами информации возросла в 4-5 раз по сравнению с 2000-ми. По данным сайта HeadHunter профессия Data Scientist входит в топ востребованных IT-специальностей. Аналитики Big data получают зарплату от 120 000 рублей.
Какими навыками нужно обладать, чтобы работать с Big data?
Data Scientist должен знать математику, статистику, основы программирования, уметь анализировать данные и интерпретировать результаты. Для этого специалиста важны такие личные качества как: аналитическое мышление, внимательность, самоорганизованность, педантичность.
Вы меня заинтересовали. Скажите, где можно этому обучиться с нуля?
К сожалению, в ВУЗах такой специальности еще нет. Эту профессию вы можете попытаться освоить самостоятельно или пройти курсы в онлайн-школах, например, в SkillFactory. Преимуществом обучения в онлайн-школе является то, что материал рассчитан на новичков, поэтому понятно изложен и хорошо структурирован. Короткие видео, вебинары, скринкасты, тексты, схемы просты и доступны. Вам не придется тратить свое время на поиски статей и обучающих видео на YouTube.
Весь фокус курсов SkillFactory сделан на практике (20% теории и 80% практики на реальных данных). Вы будете учиться по принципу одно занятие — одна задача. Вместе с опытным преподавателем вы пройдете все этапы проекта по машинному обучению: загрузка и очистка данных, выбор модели, разделение на основную и контрольную выборку, кросс-валидация, «тюнинг» модели и многое другое.
Каждое занятие проводится в специальном Jupyter notebook. Он останется у вас после курса и поможет вам при реализации своих проектов (вы даже можете брать готовые «куски» кода, которые работают).
Используйте промокод HYPE-25 на скидку 25% до 31.03.2020 (не суммируется с другими акциями).
Сколько времени занимает курс Data Scientist ? Из каких разделов он состоит?
Длительность курса Data Scientist в SkillFactory — 12 месяцев. За это время вы пройдете шесть разделов (Python, математика и статистика для Data Science, практический Machine Learning, Deep learning и нейронные сети, Data Engineering, менеджмент для Data Science). Вы не только изучите теорию и отработаете знания на практике, но и выполните 10 проектов для портфолио.
А кто ваши преподаватели? Можно ли будет к ним обращаться за помощью во время обучения?
Программа курса составлена практикующими специалистами, которые работают в крупных IT-компаниях. В процессе обучения вы не будете предоставлены сами себе. На все возникающие вопросы вам ответят преподаватели, менторы и кураторы. Они всегда поинтересуются как у вас дела, напомнят о дедлайне, поддержат в трудной ситуации. Еще вы можете общаться со своими сокурсниками в специальных каналах в Slack.
Что нужно для того, чтобы начать обучение?
Ничего сверхъестественного! Всего лишь огромное желание получить знания, 6-8 часов свободного времени в неделю, компьютер с установленным Python (вам пришлют инструкцию и помогут с установкой).
Убедили. Но смогу ли я устроиться на работу, закончив онлайн-курсы?
Конечно! SkillFactory сотрудничает с Яндексом, Рамблером, Сбербанком и другими крупными компаниями. Они не только обучают своих сотрудников, но и ищут новых среди выпускников онлайн-школы. Специалисты SkillFactory помогут вам составить резюме и вы с уверенностью сможете показать свои проекты работодателям.
Есть ли у Skillfactory скидки на обучение?
Да, есть. С 10.03.2020 до 16.03.2020 в SkillFactory проходит весенняя распродажа, и вы можете купить курс Data Scientist со скидкой 40%.
Также для вас доступны эти предложения:
- Используйте промокод HYPE-25 на скидку 25% до 31.03.2020 (не суммируется с другими акциями).
- При единовременной оплате курса вы сможете сэкономить от 10 до 20% от общей стоимости обучения.
- Получите скидку 20%, пригласив друзей.
- После оплаты одного из курсов вы автоматически получаете скидку на следующий курс.
- Если внести предоплату в размере 5 000 руб. в течение 3-х дней после регистрации, то вы сможете получить дополнительную персональную скидку.
- Поделитесь ссылкой на курс в ваших социальных сетях и получите дополнительную скидку 5%.
Также вы можете взять курс в рассрочку у партнеров SkillFactory (Тинькофф Банк, Почта Банк, Яндекс Касса, Альфа-Банк).
Хочу узнать больше о курсе Data Scientist в SkillFactory
Не бойтесь осваивать новые профессии! Постепенно большие данные проникают в нашу повседневную жизнь, упрощая и улучшая ее. Обучившись профессии Data Scientist сейчас, вы сможете построить хорошую карьеру в будущем.
Читайте также: 5 перспективных профессий, которым вас не научат в институт
