Дальний горизонт

Pandas поддерживает различные типы вычислений по обеим осям датафрейма, как по столбцам, так и по строкам. Поскольку Pandas это библиотека для работы с большими данными, содержащими сотни тысяч строк и столбцов, и в ней предусмотрены инструменты для проведения вычислений с такими большими датафреймами. Эти инструменты оптимизированы для быстрого выполнения операций и позволяют быстро и легко в одну две строчки кода совершать вычисления в огромном датафрейме. В данной статье будут рассмотрены только элементарные операции вычислений как в целом по датафрейму, так по столбцам и строкам...

При загрузке данных из различных источников, названия столбцов, сформированного загруженными данными датафрейма, не позволяют однозначно понимать хранящиеся в них данные. Это вносит путаницу, усложняет визуальное восприятие данных и осложняет работу. Кроме того, иногда в модулях визуализации данных, по осям диаграмм отображаются столбцы и если название столбца не соответствует смыслу хранящихся в нем данных, это также затрудняет и восприятие диаграммы. Конечно, всегда можно с помощью различных команд...

Одни из самых часто используемых операций — это операции со столбцами датафрейма. Данные операции позволяют создать новые столбцы с расчетными данными, удалить столбцы, поменять их порядок или переименовать их. В данной статье рассмотрим только операции удаления, отбора и перестановки столбцов. Создадим тестовый датафрейм с именем df и различными типами значений. Создаем словарь с данными. dict_data = {'column_1': ['a_side', 'b_side'], 'column_2': [1, 2], 'column_3': [3.0, 4.5]} Передаем словарь с данными в качестве аргумента data в метод pd...

Анализ данных — это прежде всего понимание данных. Каков их объем, размерность, характеристики. В общем все то, что описывает данные и помогает их понять называется описательными статистиками. Pandas предоставляет несколько методов помогающих понять и сделать выводы о данных содержащихся в датафрейме. Прежде всего создадим датафрейм. Датафрейм одна из основных конструкций хранений и представления данных в Pandas. Если проще, датафрейм простая таблица, имеющая столбцы (column) и строки (row). Подробнее...

Люди с интеллектом выше среднего часто слышат в свой адрес эту фразу. Если ты такой умный, почему не такой богатый. Эта фраза давно улетела в народ и автор ее неизвестен. Кто говорит, что первым эту фразу сказал Уоррен Баффет, кто то, что древнегреческий мудрец Фалес, истина покрыта туманом электронных наслоений интернет графоманов. На самом деле не важно кто сказал эту фразу, важно что многие ее разделяют и часто употребляют в диалоге. Как правило это люди не очень высокого интеллекта, добившиеся в жизни определенных высот...

Многие компании сейчас ведут расчеты не в Excel, а в Google Sheets (Гугл таблицы). Это удобный и главное бесплатный способ ведения учета и расчетов. Таблицы Google Sheets позволяют работать над одной таблицей нескольким пользователям, онлайн, из любой точки мира, нужен только доступ в интернет. Еще такой способ сбора и обработки данных интересен тем, что один раз настроив загрузку и обработку таблицы в Google Sheets, при каждом обновлении данных нет необходимости копировать и сохранять файл с новыми данными...

Для загрузки данных из учетных систем часто используется формат CSV. CSV довольно распространенный формат для импорта/экспорта данных между различными приложениями Формат CSV (comma-separated values — «значения, разделённые запятыми») широко используется для импорта и экспорта данных между различными приложениями. Это текстовый формат, который позволяет хранить табличные данные: каждая строка таблицы соответствует строке текста, а поля разделяются специальным символом-разделителем, чаще всего запятой или точкой с запятой...

Для проведения анализа данные необходимо откуда-то получить. Источником данных может выступать бухгалтерская программа, к примеру 1С или данные управленческого учета. При отсутствии специальных коннекторов к бухгалтерской программе или грамотного программиста 1С, самым простым и быстрым способом получить данные, будет выгрузить их в Excel. Excel также является универсальным форматом экспорта данных и в других системах учета и сбора данных. Pandas дает возможность загружать данные из Excel попутно обрабатывая и распознавая формат этих данных...

Данные в pandas могут быть представлены в виде двух основных сущностей. Это два разных вида представления данных, но на самом деле один из этих типов - Датафрейм просто состоит из нескольких наборов данных другого вида - Серий. Series (Серия) - это ряд данных - [1, 2, 3, 22, 24, 2,] или одномерный массив данных с привязанными метками. Наиболее близко по смыслу сравнение с данными отраженными в одном столбце Excel, но есть существенное различие, каждая единица данных имеет свою метку - индекс. При отображении Series индекс всегда будет находиться слева, а его значения справа...

Для анализа данных на Python, достаточно установить Python и уже в нем с помощью pip загрузить необходимые библиотеки для анализа данных. Однако для новичка не знакомого хорошо с Python, это будет сложновато. Есть простое и бесплатное решение. На сегодняшний день, для анализа данных существует большое количество программных сред, которые сильно упрощают и облегчают работу по написанию кода и дальнейшего проведения анализа. Одним из лучших инструментов в сфере анализа данных считается Jupyter. Изначально это был Jupyter Notebook...

Если вы серьезно работаете с данными, то вы наверняка что то слышали о анализе данных на Python (Пайтон) и библиотеке Pandas (Пандас). Для справедливости нужно сказать, что анализ данных на сегодняшний день ведется не только на Python. Используются и другие языки программирования, но в данном канале мы изучаем только Python. В чем огромное преимущество проведения анализа и обработки данных на языке Python по сравнению с Excel? Вы не ограничены стандартными формулами, графиками и функционалом Excel...