У нашего котика Сени День рождения . Спи спокойно , мой любимый . В память о Сене.
195,9 тыс смотрели · 5 месяцев назад
Что такое ETL?
ETL (англ. Extract, Transform, Load – Извлечь, преобразовать и загрузить) группа процессов, происходящих при переносе данных из нескольких систем в одно хранилище. Если у вас есть данные из нескольких источников, которые вы хотите перенести в централизованную базу данных, вам необходимо: Как правило, один инструмент ETL выполняет все три из этих шагов и является критически важной частью обеспечения полноты и пригодности данных, необходимых для отчетности, аналитики, а теперь и для Машинного обучения (ML)...
🚀 ETL: Извлечение, преобразование, загрузка с Python! 🔎 Что такое ETL и почему он важен? • Представьте себе владельца перспективного стартапа, вооруженного невероятным алгоритмом искусственного интеллекта, который предсказывает риск развития диабета на основе роста и массы тела. • Однако ваши данные разбросаны по файлам CSV и JSON, а измерения производятся в разных единицах. Введите ETL! ETL – аббревиатура от Extract, Transform, Load. • Извлечение, преобразование и загрузка данных 🧲 – это сбор огромного количества данных из различных источников, преобразование их в единый формат и загрузка в центральную базу данных или целевой файл. 🗄️ 📝 Реализуем ETL с помощью Python • Начнем с определения функции extract, которая предполагает использование функции glob из модуля glob. • Эта удобная функция позволяет находить файлы с определенными расширениями (например, .json и .csv) и извлекать из них данные, преобразуя их в фреймы данных для дальнейшей обработки. 📁 • Импортируем некоторые важные библиотеки, необходимые для выполнения операций! В изображениях 1, 2, 3, 4. 🔄 Преобразование данных для обеспечения их целостности @machinelearning