545 читали · 5 лет назад
Как автоматизировать загрузку в базу данных таблицы из файла
В данной статье я поделюсь рецептом загрузки таблицы в базу данных с использованием языка Python. Вся трудная работа будет переложена на плечи этого гибкого инструмента, а вы будете пользоваться только его привычными и мощными библиотеками...
253 читали · 11 месяцев назад
Эффективная загрузка данных в PostgreSQL с помощью Python
Эффективная загрузка данных в PostgreSQL с помощью Python В этот раз на курсе ученица столкнулась с задачей загрузки своего датасета в базу данных PostgreSQL. Все бы ничего, это типичная задача, через которую проходят ученики, но здесь повлиял объем исходных данных. На входе был json файл объемом 150Мб, который если преобразовать в формат таблицы, то получится 8.9 млн строк. Не Big Data, но и не маленькая экселька на самом деле. Мы сравнили разные методы загрузки такого датасета в одну и ту же...