7 подписчиков

🔹 Pandas: читать и фильтровать CSV легко

СегодняСегодня

~1 мин

🔹 Как быстро загрузить CSV (Comma-Separated Values) в pandas и отфильтровать данные? 🔸 read_csv нужен, чтобы корректно и эффективно превратить CSV в DataFrame: задать типы, парсить даты и экономить память — иначе данные будут медленными и ошибки появятся при фильтрации. 🔸 Оптимизация чтения: usecols ограничивает колонки, dtype фиксирует типы, parse_dates парсит даты, na_values задаёт пропуски, chunksize читает по частям. 🔸 Фильтрация DataFrame: булева индексация для сложных условий, .query() для читаемости, .isin() для множеств и .str.contains() для строковых совпадений. import pandas as pd df = pd.read_csv('data.csv', usecols=['id','date','value'], parse_dates=['date'], dtype={'id':int}, na_values=['NA']) filtered = df[(df['value'] > 100) & (df['date'] > '2021-01-01')] 📚 Комбинация правильных опций read_csv и булевой фильтрации даёт быстрые и корректные DataFrame. #CODERIKK #Python #Middle ➡️ Мы в Telegram - Сетке - ВК Буду рад вашей реакции здесь⬇️

🔹 Как быстро загрузить CSV (Comma-Separated Values) в pandas и отфильтровать данные?

🔸 read_csv нужен, чтобы корректно и эффективно превратить CSV в DataFrame: задать типы, парсить даты и экономить память — иначе данные будут медленными и ошибки появятся при фильтрации.

🔸 Оптимизация чтения: usecols ограничивает колонки, dtype фиксирует типы, parse_dates парсит даты, na_values задаёт пропуски, chunksize читает по частям.

🔸 Фильтрация DataFrame: булева индексация для сложных условий, .query() для читаемости, .isin() для множеств и .str.contains() для строковых совпадений.

import pandas as pd

df = pd.read_csv('data.csv', usecols=['id','date','value'],

parse_dates=['date'], dtype={'id':int}, na_values=['NA'])

filtered = df[(df['value'] > 100) & (df['date'] > '2021-01-01')]

📚 Комбинация правильных опций read_csv и булевой фильтрации даёт быстрые и корректные DataFrame.

#CODERIKK #Python #Middle

➡️ Мы в Telegram - Сетке - ВК

Буду рад вашей реакции здесь⬇️