Хроники Data Engineer

Всем привет! И в сегодняшнем посте мы рассмотрим 2 популярных инструмента для обработки данных PySpark и Pandas на примере сгенерированных данных в локальном режиме. Очень часто слышу от людей, которые только-только пришли в область дата инженерии или ходят вокруг нее, что PySpark - это продвинутый Pandas. Отчасти, это так, но не совсем. Давайте разбираться. Начнем с истории PySpark. Продолжим историей Pandas. То есть pandas вышел раньше и это его первый плюс. Как следствие - большая популярность...

Всем привет. Продолжаем обозревать достаточно узкую, но высокооплачиваемую область в РФ, как дата инженерия. И сегодня мы затронем очень трепетную тему - ТРУДОУСТРОЙСТВО. Не буду рассказывать, как многие инфоцыгане, о том, что нужно купить все наши курсы, чтобы стать супер крутым специалистом. Нет, конечно, отчасти это так, куда же без этого). Но знания решают лишь 30% проблемы в трудоустройстве. А остальные 70% тогда что? УМЕНИЕ ПРОДАТЬ СЕБЯ. И тут важно понять, что умение продать себя, хоть и занимает большой процент, но без знаний Вы все равно не никуда не устроитесь...

Всех приветствую! Это моя первая статья. Пока разбираюсь с тем, как тут все устроено. Поэтому давайте познакомимся и поднимем вопрос, волнующий нас всех - "Кто такой Data Engineer и как он связан с большими данными"? А, для людей, которые оба термина не знают переформулирую - "Как зайти в самую высокооплачиваемую профессию в IT в РФ?" Data Engineering - Почему меня принимают за тебя? Отвечай! Big Data - Сядь. Data Engineering - Так почему меня принимают за тебя? Big Data - А ты не знаешь? Data Engineering - Нет, не знаю...