Когда смотришь вакансии в IT, часто встречаются две похожие специальности: Data Scientist и Data Engineer. Обе работают с данными, но задачи у них принципиально разные. Одни строят модели, которые предсказывают будущее, другие создают инфраструктуру, без которой эти модели просто не на чем запустить. Разбираемся, кто есть кто, и как соискателю не ошибиться с выбором.
Кто такой Data Engineer
Инженер данных занимается тем, что собирает, очищает и доставляет данные туда, где они нужны. Представьте, что компания – это огромный завод. Данные приходят с сайтов, мобильных приложений, касс, датчиков на производстве. Всё это сырьё. Задача инженера – построить трубы (пайплайны), по которым информация попадёт в хранилище, очистится от мусора и ляжет на полки в нужном порядке. Без него аналитики будут копаться в данных неделями или вообще не найдут то, что нужно.
Инженер не решает бизнес-задачи, не строит прогнозы. Он отвечает за надёжность, скорость и качество данных. Его инструменты – SQL, Python, облачные платформы, системы оркестрации (Airflow), базы данных (Hadoop, Spark).
Кто такой Data Scientist
Data Scientist получает уже готовые, чистые данные и начинает с ними колдовать. Он ищет скрытые паттерны, строит модели машинного обучения, чтобы предсказывать отток клиентов, рекомендовать товары, оптимизировать цены. Ему нужно понимать основы бизнеса, задавать правильные вопросы, проверять гипотезы и объяснять результаты руководству простым языком.
Он владеет Python, библиотеками pandas, scikit-learn, TensorFlow, умеет делать визуализацию, знает статистику. Но главное его оружие – умение найти в данных то, что принесёт компании деньги или сэкономит ресурсы.
Без инженера у Data Scientist не будет качественных данных – он застрянет на этапе очистки. Без Data Scientist инженер построит дорогую инфраструктуру, но никто не извлечёт из данных прибыль. В крупных компаниях эти роли разделены, в небольших проектах один специалист может совмещать обе функции, но это скорее исключение.
Куда движется рынок и что делать соискателям
Спрос на инженеров данных растёт быстрее, чем на Data Scientist. По данным международных отчётов, к концу десятилетия число вакансий для инфраструктурных специалистов вырастет на 30%. Компании накопили много данных, но не умеют ими пользоваться. Сначала нужно построить систему, а потом уже нанимать аналитиков. В России на HeadHunter сейчас более тысячи вакансий дата-инженера. Зарплата начинающих – от 75 тыс. рублей, опытные получают 250–400 тыс. Data Scientist стартует от 112 тыс., senior – от 335 тыс. Конкуренция в обеих профессиях растёт, но на инженеров пока дефицит больше.
Если вам нравится строить, настраивать системы, разбираться в базах данных и облаках – идите в Data Engineer. Вход сложнее: нужно знать Python, SQL, Linux, инструменты big data. Зато конкуренция ниже и порог зарплат выше на старте. Если вам интереснее анализировать, искать закономерности, работать с математикой и презентовать результаты – выбирайте Data Scientist. Там важнее статистика и машинное обучение.
Что делать прямо сейчас: 5 шагов к новой профессии
1. Пройдите профориентационные тесты. Методики Холланда и Климова помогут понять, ближе вам инженерная или аналитическая работа. Бесплатные версии есть в интернете.
2. Обновляйте резюме каждые 2–3 недели. Используйте ключевые слова из вакансий («ETL», «пайплайны», «Spark» для инженера; «машинное обучение», «A/B-тесты», «Python pandas» для сайентиста). Регулярные правки поднимают резюме в поиске.
3. Проверьте свою ИИ-репутацию. Работодатели сканируют соцсети через нейросети. Загуглите себя, удалите нежелательные посты. Заведите профиль на GitHub и LinkedIn, выложите учебные проекты – алгоритмы это любят.
4. Узнайте факторы, важные для конкретной компании. На hh.ru и «Хабр Карьере» есть разделы с отзывами. Изучите, на что обращают внимание при отборе (опыт в стартапах, участие в хакатонах, сертификаты).
5. Начните с малого проекта. Для инженера – поднимите базу данных в облаке, напишите скрипт ETL. Для сайентиста – скачайте датасет с Kaggle, постройте простую модель. Выложите код на GitHub. Это будет ваше первое портфолио.
Рынок данных не ждёт. Чем раньше вы определитесь с направлением и начнёте практиковаться, тем быстрее попадёте в число востребованных специалистов. Не бойтесь, что не знаете всего сразу. Наниматели ищут тех, кто хочет учиться, а не тех, кто знает всё.
Ставьте лайк и подписывайтесь на нашу страницу в Дзене, если хотите видеть больше интересных материалов
Если статья была полезной — отправьте её коллегам!