423 читали · 3 года назад
Эффективное итерирование по строкам в Pandas DataFrame
Источник: Nuances of Programming Начиная заниматься машинным обучением, я следовал рекомендациям и создавал собственные характеристики, комбинируя несколько столбцов в наборе данных. И делал я это ужасно неэффективно, теряя по несколько минут на самые простые операции. Проблема была проста: я не знал, как эффективно выполнять итерации по строкам в Pandas. В интернете встречается немало людей, поступающих так же. Используемые ими методы не элегантны, но вполне подходят для небольших объемов данных...
Как приручить JSON в Pandas: от новичка до профи
Все мы сталкивались с этой ситуацией. Ты получаешь выгрузку из базы данных или API, открываешь её в Pandas и видишь... это. Столбцы, в которых вместо аккуратных чисел и строк находится одна сплошная текстовая «колбаса» из фигурных скобок, кавычек и двоеточий. Да, это он — JSON, завёрнутый в ячейку таблицы. Сначала это вызывает панику. Как извлечь из этого хаоса нужную информацию? Как достать имя клиента, если оно запрятано на третьем уровне вложенности? Что делать, если в одной ячейке хранится список из десяти товаров? Без паники! Работа с JSON в Pandas — это не магия, а навык...