Кто такой Data Scientist? За что ему платят от 200к+ в месяц?

Сегодня у нас на обзоре интересная, современная и востребованная профессия «Data Scientist». Прямой перевод «Data Scientist» звучит как «ученый по данным / исследователь данных» - то есть специалист, который занимается изучением каких-то данных, и нахождением внутри них определенных закономерностей. Или другими словами, нахождением ответов на поставленные руководством вопросы.

Альтернативное название профессии под кириллическую культуру - «Специалист по данным / исследователь данных», хотя практически все компании предпочитают указывать вакансии в оригинальном нейминге - «Data Scientist». Огромные распределенные базы данных, исторические записи на выборках в десятки лет, таблицы с записями о миллионах пользователей, информация со всего мира буквально обо всем - это именно то исходное сырье, над которым работают профессионалы из этой области.

Профессия «Data Scientist» не относится к классическому программированию (разработке программных продуктов) прямым образом, хотя и тесно пересекается с прикладным программированием. В частности, эта профессия требует умения профессионально программировать на разных языках, и активно использует различные языки и среды разработки. Но все-таки, будучи занятым в области исследования данных, ты будешь заниматься именно данными - а не разработкой приложений или вебсервисов в классическом понимании.

Изучая информационные технологии и программирование, в какой-то момент начинающий специалист может сделать пивот в сторону данных - и стать именно профессионалом в этой области, отойдя от линейного программирования в классическом понимании.

Data Science простыми словами. Основа профессии - данные, вокруг которых крутится множество различных программных продуктов, систем для их анализа и аналитики.

Современный мир буквально основан на цифровой информации, и данных с каждым днем становится все больше. Поэтому, эта профессия интересна как для обзорного изучения на пути развития программиста, так и для глубокого погружения в ее суть. То есть, для последующего коммерческого трудоустройства. Надеюсь, что по результатам чтения данного обзора, каждый начинающий Войтишник найдет долгожданные ответы об этом ремесле, и ответит для себя на вопрос, подходит ли ему эта профессия. В этой статье мы рассмотрим следующие моменты:

• Кто такой Data Scientist?
• Чем занимается специалист по Data Science?
• Что должен знать и уметь Data Scientist?
• Требования к джуниору, мидлу и сеньору Data Scientist.
• Плюсы и минусы профессии.
• Востребованность и перспективы.
• Сколько зарабатывает Data Scientist?
• Как стать Data Scientist?

Хочешь узнать ответы на вышеперечисленные вопросы? Тогда поехали!

Кто же ты такой, могучий и таинственный Data Scientist? 🧑‍💼

Data Scientist - это программист широкого профиля, который занимается анализом данных, и разрабатывает инструменты для решения бизнес-задач путем построения моделей машинного обучения на основе существующих данных. Специалисты из этой сферы работают на стыке трёх областей: (1) математика / статистика / аналитика, (2) машинное обучение, и наконец (3) программирование.

Зарплата экспертов по данным сейчас крайне привлекательна, и продолжает расти год к году. Это и неудивительно, потому что все большее людей из мира бизнеса учатся извлекать выгоду от глубокого анализа покупательской информации. Примерная таблица зарплат специалистов по данным выглядит следующим образом:

Джуниор - от 70 000 до 120 000 ₽

Мидл - от 197 000 до 250 000 ₽

Сеньор - от 190 000 до 300 000 ₽

Советую также посетить этот источник для более достоверной информации об уровне зарплат в этой сфере: исследование кадрового агентства bgstaff.

Великий и ужасный Data Scientist - профессионал, который поможет сделать глубокий анализ накопленных данных - и найти не только ответы на поставленные вопросы, но и скрытые закономерности внутри них.

Специалиста по данным определенно уважает каждый практикующий программист или тот, кто тесно связан с любым современным видом бизнеса. С одной стороны, сотрудничество с Data Scientist ускоряет разработку программных продуктов, а с другой стороны - максимизирует прибыль компаний. По-сути своей, задача ученого по исследованию данных в том, чтобы находить внутри больших массивов информации скрытые закономерности - и с помощью них влиять на какие-то происходящие процессы.

Буквально 10-15 лет назад никто и не думал выделять Data Science в отдельную профессию - этим как правило занимались рядовые программисты, а в случае с крупными компаниями - отделы аналитики. Но уже сегодня это направление внутри информационных технологий выделяют отдельно - и учат именно на него в университетах. Данных в мире становится все больше, а нахождение закономерностей внутри них становится все важнее. Правильную и быструю обработку больших массивов данных можно сделать только с помощью специальных языков программирования или специальных программных сред. Именно по-этому, наука о данных относится к сфере информационных технологий, и является тесно связанной с программированием. По этой же причине, отделы "бумажной" аналитики постепенно уходят в прошлое, заменяясь IT-отделами с уклоном в обработку данных.

Сегодня эксперт по данным требуется буквально во всех сферах жизни - хоть на крупном предприятии по производству мебели, хоть внутри банка, хоть в технологичном стартапе. Самый простой пример из жизни - в розничной торговле специалист по данным анализирует поведение клиентов, разрабатывает модель ценообразования, увеличивает средние покупательские чеки и, в конечном итоге, увеличивает прибыль компании. Внутри условной "Пятерочки" различные системы анализируют эффективность выкладки товаров, конфигурацию стеллажей относительно друг друга, и соответствующую покупательскую способность. На основе собранных данных о фактических покупках, специалисты делают наиболее эффективную выкладку товара - чтобы посетитель магазина совершил как можно больше покупок. Таким образом обозревая очередную полку с печеньем или сосисками - будь уверен, каждый товар находится на своем месте не просто так. Оптимальное расположение всех групп и единиц товаров просчитано, проанализировано и выполнено самым лучшим образом - чтобы ты купил как можно больше, и вернулся еще раз.

Специалист по данным - это профессионал, который извлекает ценную информацию и знания из данных с помощью статистического анализа и методов машинного обучения. Как правило, такие специалисты обладают сильными навыками программирования, анализа и решения прикладных задач. Эти навыки позволяют выявлять закономерности, тенденции и корреляции в наборах данных, что в конечном итоге предоставляет ценную информацию предприятиям и организациям.

Роль этого самого специалиста по науке о данных включает в себя разработку прикладных алгоритмов и определение их целесообразного использования. Ярким примером является система ИИ Netflix, которая рекомендует телешоу и фильмы на основе твоих хотелок - это тоже результат усилий специалистов по анализу данных, и работы алгоритмов машинного обучения.

В качестве дополнительного чтения, в поиске альтернативного ответа на вопрос "Кто такой специалист по данным" можно изучить вот эту статью от РБК - здесь тоже есть некоторая полезная информация.

Чем живет Data Scientist 🧐

Как мы уже поняли, специалист (ученый по данным) занимается исследованием данных. Это подразумевает нахождение ответов на какие-то конкретные вопросы, поставленные перед ним руководством или собственниками компании. Честно говоря, сюда входит не только наукоемкая часть работы - но и вполне себе прикладные этапы - например сбор этих самых данных, очистка данных от мусора, и подготовка к их анализу, и так далее.

Например, пусть существует некая компания, которая продает автомобильные запчасти в сети из 100 магазинов. За 10 лет такая компания накапливает огромный массив информации о том - кто, как, когда и что именно покупает внутри магазинов. Специалист по данным может помочь такой компании найти ответы на вопросы вроде "какие товары наиболее популярны", "в какой день недели лучше всего продаются моторые масла", "какая цена является для покупателей наиболее привлекательной", и так далее. Получив ответы на такие вопросы, компания может внести изменения в свой бизнес - и улучшить свои показатели.

Приступая к работе над такой задачей, в первую очередь исследователь данных должен получить исходный набор информации. Во-вторых, необходимо убрать из набор данных "шум" - ошибочные заказы, нетипично большие или нетипично маленькие заказы, отмененные заказы и так далее. После этого, потребуется выбрать оптимальную модель анализа информации - и только после этого приступить к поиску ответов на поставленные вопросы.

Базовый список задач специалиста по Data Science:

1. Определить требования заказчика - описать бизнес-проблему и перевести её в математическое представление.
2. Подготовить данные для решения проблемы: определиться, где взять их источник, и какие выбрать методы для прикладного анализа.
3. Изучить и систематизировать данные.
4. Построить модель машинного обучения для решения проблемы / поиска ответа на поставленный вопрос.
5. Проверить точность модели, реализовав её в группе пользователей или выполнив A/B-тестирование.
6. Найти ответы на поставленные вопросы через выбранную модель. Проверить точность ответов и предоставить результаты.

Этот список можно полностью зацикливать и возвращаться на пункт сбора данных или обучения модели, если выбранная модель не сработала 😉

Другой пример - условный клиент стремится увеличить доход, получаемый от маркетинговых Email-рассылок. Ты, будучи Data Scientist, должен понять ключевые факторы, влияющие результат рассылки (совершил ли клиент действие после прочтения письма, или нет) - и в конечном итоге, получить нужную отдачу от писем. Тебе нужно будет понять, какие тексты писем и картинки в целом приводят к покупке, а какие тексты писем и картинки отдаляют людей от покупки.

Анализ аудитории почтовых email рассылок - пример простейшей задачи для Data Scientist.

Для решения такой задачи с письмами, Data Scientist сначала попросит маркетологов предоставить данные о рассылках, хранящиеся либо в базе данных, либо в таблице Excel, либо внутри почтового сервис. Затем наш специалист по данным соберёт и классифицирует получателей рассылок на тех, кто принял предложение, и тех, кто проигнорировал письмо. Потом он постарается определить пол, возраст, географию, и другие факторы тех кто ответил и тех кто не ответил. Это будет условным набором первичных данных, которые нужно будет подготовить для дальнейшего анализа.

После этой манипуляции специалист начнет оценивать наличие достаточного количества данных для разработки модели. Если всё окей и данных достаточно, он создаст алгоритм анализа этого массива данных. На следующем этапе, уже компьютер будет оценивать исходные данные и находить там важные закономерности.

Чем Data Scientist отличается от аналитика 🧑‍💻

Часто происходит так, что люди путают Data Scientist с Data Analyst из-за внешнего сходства их задач. Оба профессионала обрабатывают большие объемы данных и обладают обширным опытом в конкретных областях. Однако между ними все-таки есть некоторые различия.

Основная обязанность аналитика данных - проведение статистического анализа для ответа на вопросы или решения проблем. Его роль включает сбор данных, выявление закономерностей и создание отчетов, которые помогают менеджерам проектов или бизнеса принимать стратегические решения.

Напротив, специалист по данным (Data Scientist) обладает не только навыками анализа и визуализации данных, но и способностью строить на их основе модели. Это требует навыков машинного обучения и глубокого понимания алгоритмов, которыми зачастую не обладает аналитик данных.

Иными словами, исследователь данных обладает большим опытом и более глубокими знаниями по анализу данных. Он может создавать сложные модели, и находить ответы на более сложные вопросы.

Чем Data Scientist отличается от ML-инженера 🛠

ML-инженер (Machine Learning Engineer) продолжает работу эксперта по данным, если тот показал хороший результат. И если исследователь данных фокусируется на том, чтобы выявить закономерности и получить ответ на поставленный вопрос - то специалист по ML более ориентирован на автоматическую обработку данных.

В компетенцию ML-инженера входит обучение компьютера таким образом, чтобы автоматически анализировать или обрабатывать некоторую информацию. Исследователь данных, в первую очередь, полагается на свою экспертность. ML инженер, в первую очередь, полагается на компьютерные алгоритмы.

Ученые, работающие с данными, и инженеры ML имеют общие черты, но различаются в своей основной сфере деятельности. Data Scientist в основном работает над анализом сложных наборов данных, извлечением информации и построением прогнозных моделей. А вот инженер ML фокусируется на внедрении и развертывании моделей машинного обучения в производственных системах, уделяя особое внимание масштабируемости и производительности. Хотя обе роли требуют сильных технических навыков, их цели и области знаний отличают их друг от друга.

Специалист по данным анализирует данные, строит модели и тестирует их. В обязанности ML-инженера входит автоматизировать работу моделей, следить, чтобы работали качественно, и устранять ошибки. Если точность модели упадёт, то инженер разберётся в причинах и переобучит алгоритм.

Что должен знать и уметь Data Scientist 🏓

Для работы Data Scientist необходимы два вида навыков: технические (связанные с конкретными языками программирования и средами анализа данных) и узко-профессиональные (связанные с конкретными областями, в которых работает конкретный специалист).

Набор навыков специалиста по данным преимущественно ориентирован на технические способности, поскольку они в первую очередь ориентированы на работу с данными, а не с отдельными людьми. В общем же и целом, для качественной работы требуется базовые умения программиста - и расширенные навыки анализа информации.

Технические навыки

• Программирование на языке Python, знание языка SQL.
• Математика, статистика, машинное обучение. Умение использовать Matlab.
• Работа с базами данных, знание основных СУБД.
• Владение инструментами обработки больших данных: Apache Spark и Hadoop Mapreduce.
• Хорошее знание Английского для чтения технической литературы.

Узко-профессиональные навыки

• Понимание области, в которой работает специалист.
• Коммуникация с коллегами-программистами и другими специалистами по данным.
• Презентация результатов своей работы - умение создавать понятные презентации.
• Умение проводить подготовительную работу - составление технического задания при общении с руководством, умение конкретизировать задачи и хорошо их описывать.

Навыки специалиста по данным включают знание языков программирования, таких как Python и SQL. Умение делать статистический анализ, умение создавать алгоритмы машинного обучения, качественно визуализировать данные. Сильные математические и аналитические способности, навыки решения проблем и эффективное общение также необходимы для успеха на этой должности.

История науки о данных ⏳

Термин «Data Science» появился относительно недавно (оригинал статьи на английском языке опубликован Forbes в 2013 году) для обозначения новой профессии, которая должна проанализировать и упорядочить огромные хранилища больших данных. Появление данной профессии во-многом обязано стремительному росту количества данных, происходящему в последние годы. В какой-то момент как бизнес-сообщество, так и сообщество ученых стало видеть прямой смысл и выгоду в анализе больших массивов информации. Именно так и появилась эта новая профессия, стремительно набирающая обороты.

История науки о данных берет своё начало в 1948 году, когда Клод Шеннон представил фундаментальные концепции коммуникации и обработки информации. Он ввёл такие термины, как информационная энтропия и избыточность, а также ввёл понятие «бит» для обозначения наименьшей единицы информации. Пусть это прозвучит несколько странно, но в сущности своей, наука о данных в каких-то самых общих чертах зародилась именно тогда, когда впервые появилась сама терминология "данных" - то есть, когда были придуманы первые, самые простые концепции привычных нам компьютеров и компьютерной информации.

В 1962 году математик Джон В. Тьюки предсказал влияние электронных вычислений на анализ данных. Однако современная наука о данных даже превзошла его дальновидные идеи, поскольку теперь включает в себя передовые технологии, такие как большие данные и комплексный анализ, которые были недоступны во времена Тьюки.

IBM выпустила свой персональный компьютер в 1981 году, а три года спустя Apple представила первый Mac. На протяжении этого десятилетия компьютерные технологии стремительно развивались, но конечно в то время до науки о данных было еще очень, очень далеко. Прошло почти три десятилетия, прежде чем компании начали задумываться о том, что собранные данные являются ценностью не меньшей, чем физическое оборудование по их сбору.

В 1996 году Файад, Пятецкий-Шапиро и Смит опубликовали книгу под названием «От интеллектуального анализа данных к обнаружению знаний в базах данных», в которой обсуждается историческая эволюция поиска полезных закономерностей в данных с помощью различных терминов, таких как интеллектуальный анализ данных, извлечение знаний, обнаружение информации и т. д.

История профессии Data Scientist длинна - грубо говоря, можно отнести ее начало к появлению самых первых компьютеров. Но как отдельная профессия, она оформилась только в последнее десятилетие.

В 2000-е годы научные журналы признали науку о данных новой дисциплиной. Компании начали рассматривать данные как ценный ресурс для получения прибыли. В отчете Бэбсон-колледжа за 2005 год подчеркивалось использование статистического анализа, количественного анализа и прогнозного моделирования в качестве важных элементов конкуренции.

В 2009 году главный экономист Google Хэл Вариан выразил обеспокоенность по поводу нехватки людей, способных анализировать многочисленные и легкодоступные данные. Он подчеркнул важность понимания и важность извлечения ценности из этих данных, а также таких навыков, как доступ, понимание и передача информации, полученной в результате анализа данных.

На сегодняшний день, навыки относящиеся к обработке данных часто являются целыми научными дисциплинами. Сегодня существуют как высокооплачиваемые профессии, так и именитые профессионалы из этой области. Уже ни у кого не возникает сомнений в том, что для анализа данных требуются хорошие прикладные специалисты в этой области.

Требования к джуниору, мидлу и сеньору в профессии Data Scientist 🚀

Junior Data Scientist должен знать и иметь:

• Базовые знания в области машинного обучения и статистики.
• Уверенное программирование на Python и базовое знание SQL.
• Базовое понимание предметной области, в которой он работает.
• Умение и желание обучаться под руководством старших специалистов.

Спрос на младших, средних и старших специалистов по обработке данных высок из-за постоянно растущих объемов данных и необходимости извлекать из них значимую информацию. Организации из разных отраслей осознают ценность принятия решений на основе данных и ищут профессионалов, которые могут эффективно анализировать, интерпретировать и передавать сложные данные. Поскольку предприятия стремятся оставаться конкурентоспособными, спрос на квалифицированных специалистов по данным на разных уровнях продолжает расти.

Middle Data Scientist должен иметь:

• Хорошие знания математики.
• Программирование: уверенный в себе Python с глубоким пониманием его функций для повышения производительности моделей и оптимизации рабочих процессов.
• Уверенные знания по проведению экспериментов и использованием таких инструментов, как gitLFS, MLFlow, DVC, для реализации и поддержки моделей машинного обучения. Знание A/B-тестирование.
• Способность самостоятельно решать задачи от начала до конца, требуя минимальной помощи старшего специалиста или руководителя группы.
• Умение работать в команде специалистов.

Требования к Senior Data Scientist:

• Глубокие, уверенные знания математики и статистики.
• Программирование: уверенные Python, SQL.
• Экспертные знания в своей области.
• Полная самостоятельность от постановки задачи до вывода в продакшн.
• Способность обучать и мониторить младших и продвинутых специалистов.
• Умение руководить командой специалистов.

Востребованность и перспективы 📈

В последние годы, потребность в специалистах по данным растет в стремительном темпе. Отделы Data Science создают как крупные компании, так и стартапы и небольшие команды разработчиков, которые только выходят на рынок. Потребность в анализе данных ощущается на всех уровнях бизнеса - хоть в небольшом интернет-магазине, хоть в огромной корпорации.

Спрос на специалистов по данным стремительно растет, поскольку компании все больше полагаются на знания, основанные на данных, для принятия обоснованных решений и получения конкурентного преимущества. Обладая опытом анализа и интерпретации сложных наборов данных, ученые, работающие с данными, играют решающую роль в получении ценной информации и внедрении инноваций в различных отраслях. Их уникальный набор навыков и способность ориентироваться в передовых статистических методах и алгоритмах машинного обучения делают их очень востребованными в современном мире, управляемом данными.

Нехватка специалистов в конкретных областях приводит к тому, что крупные компании конкурируют за специалистов Data Scientise и постоянно повышают зарплаты в этой отрасли. Когда компании не могут превзойти цены других, они создают собственных Data Scientist для решения специализированных задач, на базе переобучения собственных IT-специалистов. Ввиду ограниченного количества квалифицированных специалистов на услуги по анализу данных существует устойчивый спрос, особенно на мировом рынке. Поэтому при большом опыте и наличии мотивации, можно выйти на очень хорошую зарплату.

Как стать Data Scientist 📝

Можно получить степень в известных учреждениях, таких как НИУ ВШЭ, МФТИ или МГУ - высшее образование займет порядка 5 лет. Плюс классического высшего образования в том, что оно дает последовательное погружение в профессию - с постепенным изучением основ и фундаментального базиса. К минусу, конечно, можно отнести длительность обучения - во взрослой жизни не у всех есть возможность посвятить несколько лет новому образованию.

Вариант попроще - пройти онлайн-обучение, например на платформе SkillBox. Записаться на курс можно вот по этой ссылке - за 9 месяцев тебя научат основам профессии и помогут с последующим гарантированным трудоустройством. С точки зрения нашей редакции, это хороший и простой способ залететь в столь интересную и высокооплачиваемую профессию. Прикинь сам - через 9 месяцев, ты сможешь трудоустроиться с зарплатой порядка 120 т.р. - и это при том, что обучение будет происходить удаленно, не открывая тебя от твоей текущей занятости. [ Реклама. ЧУ ЧАСТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ СКИЛБОКС (КОРОБКА НАВЫКОВ), ИНН 9704088880, erid: LdtCKQ4B1 ]

После обучения обязательно нужно пойти в компанию на стажировку или начальную позицию Junior. Этот пункт обязателен! Также очень желательно участие в соревнованиях по Data Science и машинному обучению, практика в решении реальных задач и построении моделей. Победы и опыт участия в соревнованиях будут плюсом при устройстве на работу.

Запоминаем 🧠

Data Scientist - это эксперт, который использует данные для решения бизнес-задач. В своей работе он сочетает программирование, машинное обучение и математику.

Ключевые обязанности специалиста по данным включают сбор и анализ данных, построение моделей, а также обучение и тестирование. Им необходимо иметь глубокое понимание компании и конкретной отрасли, в которой они работают.

Область науки о данных постоянно развивается и предлагает прибыльные возможности. Появляются новые интересные задачи, ожидается рост спроса и зарплат на специалистов по данным в крупных компаниях.

Чтобы стать специалистом по данным, не обязательно иметь степень специализированного математического университета. Дополнительное образование, стажировки или начало работы в качестве младшего специалиста - возможные варианты развития.

И пожалуй самый главный вопрос - получится ли у тебя стать исследователем данных, и начать зарабатывать хорошие суммы в этой профессиональной области? Краткий ответ - если ты этого действительно хочешь, то вероятно да. Из опыта редакции, у нас нет случаев когда при наличии желания и последовательном обучении в течение хотя бы 1-2 лет, у человека не получилось бы войти в профессиональную сферу информационных технологий. А это значит, что все в твоих руках!

Специалисты Data Scientist играют решающую роль в росте прибыли компаний. Их опыт в анализе и интерпретации огромных объемов информации помогает принимать правильные решения и дает ценную информацию для других сотрудников. В конечном итоге, на основе анализа данных принимаются важные решения, позволяющие бизнесу расти.

🔥 Понравилось? Подпишись! Победим восстание роботов вместе! 🔥

🚀 P.S. Ты можешь круто поддержать меня и проект "Войти в IT" на boosty! Я публикую там более эксклюзивный и профессиональный, иногда немного личный контент. Хочешь посмотреть как я выгляжу в реальной жизни? Тогда жми: Ссылка 🚀

P.S.2 У меня ещё есть Telegram-канал. Там посты чуть попроще, и чуть повеселей. Ссылка