Всеобщий ажиотаж вокруг дата-сайентистов может создать впечатление, будто именно они в одиночку ведут бизнес в светлое информационное будущее. Не пытаясь приуменьшить их заслуги, отметим все же, что эксперты по Data Science не смогут творить свое волшебство без инженеров данных (Data Engineer). Сегодня мы расскажем, кто это такие и почему компания может обойтись без дата-сайентиста, а без дата-инженера — никак.
Кто такой инженер данных
По сути своей Data Engineer объединяет в себе навыки дата-сайентиста и аналитика данных. Они понимают значение информации для бизнеса, разбираются в процессах, для которых необходимы те или иные данные, и — самое главное — отлично владеют техническим инструментарием. Именно в этом и состоит «инженерная» сторона профессии — эти специалисты отвечают за всю инфраструктуру, которая предоставляет экспертам по Data Science материалы для их изысканий.
Инженер данных обеспечивает эффективный сбор данных, выстраивает потоки обмена информацией, очищает ее от ошибок и приводит в удобное для работы состояние.
В общем и целом, эту профессию трудно назвать новой. Необходимость поддерживать хранилища данных в аккуратном виде, быстро получать из них нужную информацию и передавать ее нужным сотрудникам — инженеры данных решали эти задачи задолго до появления Big Data и Data Science. Развитие технологий лишь повысило их значение для компании и расширило спектр необходимых навыков.
Инженеры данных и эксперты по Data Science
И в первую очередь значение Data Engineer выросло потому, что от качества информации сегодня зависит эффективность специалистов по Data Science. Если дата-сайентист — это мишленовский повар, то инженер данных привозит ему лучшие продукты и точит ножи. Он проигрывает дата-сайентисту к создании прогнозных моделей и владении статистикой, зато гораздо лучше разбирается в программировании и всех тонкостях, которые подспудно влияют на аналитические процессы.
Стоит также отметить, что технологии работы с данными с каждым годом становятся понятнее и не-профессионалам. Маркетологи, специалисты по продажам, финансисты — сегодня все они могут анализировать информацию, чтобы получать инсайты по своим задачам. Другими словами, компании вовсе не нужен дата-сайентист, чтобы грамотно работать со своими данными. А вот без Data Engineer сырая информация останется мертвым грузом на корпоративных серверах.
Что должен уметь Data Engineer
Компании, которые сегодня ищут в штат инженеров данных, требуют от кандидатов уверенного владения SQL и Python, понимания технологий реляционных и нереляционных хранилищ, навыков работы с облачными платформами наподобие Amazon Web Services. Если вы придете на собеседование в крупную технологическую компанию, вас могут также спросить про ваш опыт с решениями вроде Hadoop или Spark, предложить визуализировать данные в Tableau и ElasticSearch.
- Если вы хотите стать таким экспертом, вам следует первым делом познакомиться с эффективными алгоритмами и структурами данных. Уверенное владение этими инструментами позволит вам понять принципы работы баз данных — как они хранят информацию и как ее оттуда доставать.
- После этого теоретического вступления можно переходить к изучению языков программирования, и прежде всего SQL. Язык структурированных запросов — это хлеб и соль любого специалиста по работе с данными. Его используют и аналитики, и дата-сайентисты, и все-все-все. Умение создавать грамотные запросы, понимание, как формулировка команды влияет на производительность хранилища обеспечивает инженеру данных глубокое понимание ключевых принципов, по которым живет информация.
- После SQL вам стоит овладеть Python. Сегодня это один из главных языков Data Science и самый главный язык для новичков в этой области. Однако не думайте, что этого будет достаточно — настоящий профессионал должен уметь работать с R (двоюродный брат Python из мира статистики), Java и Scala. Последние два языка важны потому, что на них работают самые популярные сегодня решения для Big Data: Apache Kafka (Scala), Hadoop, HDFS (Java), Apache Spark (Scala), Apache Cassandra (Java) и так далее.
- Владение Scala также позволит вам решать некоторые задачи, с которыми Python в силу своих технологических особенностей справляется хуже. Это в первую очередь параллельные вычисления и другие операции с высокой загрузкой ресурсов.
- Когда ваш языковой багаж наберет некоторый вес, переходите к практическим заданиям. Выше мы уже назвали самые популярные решения по работе с данными — начать стоит с Apache Spark и Kafka. Параллельно стоит знакомиться с облачными платформами: Amazon Web Services, Google Cloud, Microsoft Azure. Это технологический must-have, с которым нужно быть на «ты» — знать, откуда возникают проблемы и в чем состоят главные факторы производительности.
- Работа с большими данными подразумевает использование масштабных кластеров, внутри которых вычисления распределяются между множеством отдельных узлов. Эти технологии, без которых также невозможно представить Data Engineer в крупной компании, завершают ваше знакомство с технологическим инструментарием.
- Теперь вам остается понять, как применять эти системы для организации потоков данных (data pipelines). Это не просто канал для доставки информации из хранилища конечным пользователям. Инженер данных знает, как ускорить процессы и отловить в них ошибки, умеет писать скрипты и подключать API сторонних систем. Именно это и делает его незаменимым участником в команде дата-сайентиста, к которому идут с амбициозными идеями и интересными задачами.
Если от такого фронта работ вам становится не по себе, не отчаивайтесь — стать инженером данных можно буквально за 10 недель. Все, что вам понадобится для погружения в новую профессию — это базовое владение Python.