В предыдущей статье, я рассказал о базовых инструментах, которые необходимы для решения аналитиком поставленных задач. В этой части будут рассмотрены самые передовые технологии, спрос на которые растет с каждым годом.
BI инструменты
К BI инструментам для аналитиков данных относятся программы, которые позволяют загружать, преобразовывать, связывать данные в одну комплексную модель для дальнейшей визуализации и предоставления пользователям. Другими словами, это инструменты, которые с помощью, например, SQL, берут данные из базы, добавляют какие-либо вычисления с помощью встроенного функционала, разрабатывают визуализации (дашборды), публикуют на специальном сервере, настраивают расписание для обновления этих дашбордов. Самыми популярными BI инструментами являются Power BI, Qlik, Tableau и они же являются зарубежными.
В 2022 году иностранные производители начали ограничивать возможность использования данных приложений в России. Так Power BI можно продолжать использовать, но есть сложности с оплатой из России и создания нового аккаунта. Сайты остальных не открываются без VPN.
Одновременно с этими событиями начался бурный рост разработки отечественных BI инструментов: Yandex Datalens, Форсайт, Luxms BI, Visiology, PIX BI.
Кроме того, на рынке появляются BI инструменты китайских разработчиков, такие как Fine BI.
Аналитику необходимо владеть BI инструментом, т.к. есть тенденция к автоматизации разработанных аналитических решений для возможности в режиме реального времени иметь доступ к актуальной информации.
Язык программирования
Технологии идут вперед, данные накапливаются, и сегодня к аналитикам предъявляются требования знать языки программирования для возможности обработки, так называемых, больших данных. Самым популярным языком программирования для обработки больших данных является Python. Свою популярность он обрел благодаря низкому порогу вхождения (простоты изучения) и огромному количеству библиотек (расширений) для удобной и быстрой работы с данными. Используя Python вы без труда сможете подключиться к базам данных, выгрузить необходимую информацию встроив запрос в питоновский код, произвести сложные вычисления в пару строк с помощью удобных библиотек Pandas и Numpy и сохранить полученные данные в любой формат или сразу загрузить датасет, например, в модель Power BI.
Язык обладает большим количеством удобных библиотек для визуализации данных (Matplotlib, Seaborn, Plotly) и отображения данных в браузере в виде специальных блокнотов (Jupyter, Redash).
Кроме того, с помощью Python вы сможете создать специальные программы, которые смогут автоматически собрать нужные данные с сайтов, - парсеры.
В условиях ограничений к популярным BI инструментам, все большую актуальность приобретает использование Python для аналитики и визуализации.
Вот, пожалуй, и все инструменты, которые необходимо знать современному аналитику данных в 2023 году.