инструменты аналитика

"Будущее уже здесь, просто оно еще не равномерно распределено" (Уильям Гибсон). В наши дни будущее, где каждому можно получить собственную виртуальную машину и развернуть микросервис, уже наступило. Но все ли знают, как это сделать? В этом материале мы вместе пройдем по шагам, воспользовавшись сервисом cloud.ru. Предварительно сгенерируем rsa ключи для входа, используя утилиту ssh-keygen: Сгенерируется пара ключей rsa в домашнем каталоге: Теперь надо перенести публичную часть (id_rsa.pub) на сервер...

В этой статье я расскажу, как систематизировать ваш сценарий, сделать код и данные воспроизводимыми с dvc пайплайнами. Сначала проведем предварительную работу. Настроим конфигурацию dvc и укажем путь к удаленному хранилищу версий данных: Можно добавить файл в dvc: А после по подсказке добавляем файлы в Git и убедимся, что dvc стал отслеживать данные: Это общие методы работы с dvc, о которых я рассказывал ранее. С пайплайнами работа происходит немного по-другому. Вы разбиваете скрипт на логические...

Для задания списков из нескольких уровней нужно создавать их с новой строки и предварять символами табуляции. При этом каждый очередной элемент не должен отступать от соседнего более чем на один символ табуляции: Если поставить после второго уровня еще один символ табуляции, то "второй_уровень_1" и "третий_уровень_1" не будут относиться к списку: Из этого следует, если список имеет заданные уровни, которые должны располагаться друг под другом и где-то один уровень будет пропущен, то структура может...

Расскажу, как правильно использовать справочник Linux, чтобы получить полное и быстрое понимание возможностей командной строки. Этот навык очень важен для любого разработчика и аналитика, которые вынуждены писать код на серверах компаний и пользоваться терминалом Linux. whatis Краткое описание инструкции можно найти посредством вызова команды whatis: whatis grep help Для сжатого описания основных возможностей многие команды поддерживают вывод справки с параметром --help: grep --help info Выводит...

Мостиком для взаимодействия Python и командной строки служит модуль subprocess. С его помощью можно выполнить команду и получить результат ее работы прямо из кода. Предпочтительным способом запуска является функция run. command По умолчанию первым аргументом run передается список из команды и ее параметров. Этого достаточно для запуска: shell Также можно задать первый аргумент как строку, но тогда нужно указать флаг shell=True: capture_output Опционально можно перехватить потоки вывода и ошибок путем...

DVC - это продукт эволюции машинного обучения и предназначен для упрощения работы дата аналитика. В частности, он помогает создавать версии данных и моделей (большие файлы) и тем самым упорядочит ваш проект так, что его станет проще запускать коллегам, извлекать нужные версии и сравнивать результаты разных подходов. Многие принципы DVC заимствовал у Git-а, который делает то же, но для кода и небольших файлов. Сначала расскажу в целом о командах для версионирования данных, а потом рассмотрю их на практическом примере...