Видеокурс расскажет о том, для чего необходимы аналитические базы данных. На примере Vertica будут рассмотрены колоночные базы данных, дающие существенный выигрыш в производительности для построения аналитики. Мы покажем, как установить и настроить Vertica, а также имеющиеся визуальные средства по работе с ней. Совместно создадим тестовую базу данных, и на ее базе создадим аналитическое хранилище. Осуществим загрузку большого объема данных, и далее настроим проекции. Посмотрим, как работает Database Designer, и обсудим ключевые аспекты, которые следует учесть при работе с промышленными аналитическими базами данных.
Получить доступ на платформу Академия Аналитики
Для кого подойдет видео-курс «Vertica одним взглядом»
Уровень сложности – средний.
Видеокурс подойдет для аналитиков, желающих самостоятельно внедрить и поддерживать аналитическое решение на базе современных технологий Vertica + Tableau, а также для ИТ-специалистов и экспертов по базам данных, желающих расширить свои навыки по работе с аналитическими базами данных.
Программа видео-курса
Урок 1. Введение в курс (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Основная задача курса
— «Совсем кратко» о «Больших данных» (или Big Data), в чем заключается проблематика
— Кратко о системах управления базами данных (СУБД), и почему появился отдельный класс БД, — «аналитические СУБД»: зачем нужны аналитические СУБД, их отличия и преимущества
— Ключевые особенности Vertica: колоночное хранение и сжатие данных; Massive Parallel Processing; Проекции; Гибридное хранение данных (WOS, ROS, Tuple Mover); работа с неструктурированными данными (Flex Tables); внешние таблицы.
— Возможные решения с Vertica – стыковка с BI-решением, ETL-сервером.
— Варианты развертывания для небольших предприятий: требования к оборудованию и системному ПО.
— Вариант «микро-инсталляции» — «персональный аналитический сервер» на мощном ноутбуке.
Урок 2. Установка Vertica: предварительные настройки, установка пакетов Vertica (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Предварительные настройки операционной системы (на примере OS Ubuntu 14.04).
— Показываем, где найти дистрибутивы Vertica для дальнейшей установки.
— Обсуждаем схему создаваемого нами кластера Vertica.
— Настройки виртуальных машин, используемых для установки Vertica: установка необходимых вспомогательных утилит и пакетов (mc, dialog и др.).
— Установка пакетов Vertica.
Урок 3. Установка Vertica: исправление ошибок при инсталляции (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Установка пакетов Vertica: исправление ошибок, появляющихся при инсталляции;
— Советы администратору СУБД (где искать ответы на вопросы);
— Завершение установки на всех машинах кластера.
— Запуск всех необходимых процессов.
Урок 4. Создание базы данных DEMODB. Установка Management Console (доступно БСЕПЛАТНО в режиме ДЕМО на платформе онлайн-обучения Академия Аналитики)
— Создание тестовой базы данных DEMODB.
— Management Console: установка пакета, заведение пользователя консоли, первичная проверка работоспособности.
Урок 5. Графические средства для работы с Vertica. Загрузка данных в БД Vertica
— Работа с Management Console: импорт данных о кластере Vertica, просмотр информации о кластере и базе данных DEMODB из консоли.
— Management Console: основные функциональные возможности.
— Установка и настройка внешних графических SQL-клиентов (таких как DBeaver или SQuirreL) для подключения к созданной ранее DEMODB.
— Просмотр объектов базы данных в графическом SQL-клиенте (на примере SQuirreL).
— Просмотр исходных данных для загрузки в БД (база carsales)
— Синтаксис SQL-команд, используемых в Vertica для загрузки и чтения данных
Урок 6. Создание аналитического хранилища данных с помощью Vertica
— Немного теории: существующие методологии построения хранилищ данных
— Отличительные черты Vertica: таблицы и проекции, нюансы операции insert, массовая загрузка данных, варианты команды COPY, работа с WOS/ROS.
— Разбор скрипта по созданию хранилища carsales, запуск скрипта на создание схемы данных и объектов, просмотр результатов
— Вставка и удаление данных в БД Vertica на примере одной записи таблицы (нюансы команд delete и update)
— Массовая загрузка данных командой COPY: просмотр скрипта загрузки, обсуждение необходимости параметра DIRECT,
— Запуск скрипта массовой загрузки.
Урок 7. Загрузка данных в хранилище. Проверка результатов загрузки
— Проверяем результаты загрузки, начиная с небольших таблиц (пока грузятся крупные)
— Полезные комментарии от автора курса: используемые символьные кодировки, варианты команды COPY, обработка ошибок загрузки, об опыте реальных проектов и вариантах перемещения данных между крупными СУБД, рекомендуемые настройки сети между нодами кластера
— О проектах: когда стоит задуматься о внедрении новой БД – аналитической базы данных (в то время, когда уже есть операционное хранилище)?
— О программах-загрузчиках, варианты технологий для написания: JAVA, shell-скрипты, с использованием UNIX pipes
— Кратко о сегментации и об оптимизации хранения и чтения; о buddy projections.
— Использование Management Console для просмотра информации о проекциях и значении лицензионного параметра; настройки Tuple Mover.
Урок 8. Оптимизация проекций после загрузки данных
— Варианты запуска Database Designer.
— Database Designer: настройки параметров запуска в adminTools, запуск процедуры дизайнера.
— Рекомендации автора по дизайну на промышленных базах данных: полный или инкрементальный, следует ли делать deploy или только создать скрипт ре-дизайна.
— И снова о хранилищах данных: обсуждение слоев – «сырой», «метаданные», «витрины»; обсуждение проекций и их количества.
— Об отказоустойчивости и производительности. Нужны ли дополнительные кластеры. Fault groups и зачем они нужны.
— Какие проекции нужны – сегментированные или несегментированные? Влияние наличия первичного ключа на сегментацию.
— Просмотр результатов дизайна: что изменилось в проекциях по результатам процедуры дизайна.
— Создание проекции вручную.
Урок 9. «Десерт на пробу» или кратко об актуальном для промышленных аналитических хранилищ
— Сегменты и партиции;
— Пулы ресурсов;
— Роли пользователей;
— Эпохи;
— Внешние таблицы;
— Резервное копирование;
— Создание внешних процедур и функций.
Курс читает: Вячеслав Ерин,
Технический консультант компании
АНАЛИТИКА ПЛЮС по базам данных Vertica
Вячеслав читает практикумы по Vertica и Alteryx. Принимал участие в запуске аналитических решений на базе Vertica + Tableau в компаниях ТАКСКОМ и Московском Кредитном Банке.
О нас:
АНАЛИТИКА ПЛЮС оказывает профессиональные услуги в сфере BI с 2012 года. Мы владеем технологиями успеха и готовы оказывать консультационную и технологическую поддержку на всех этапах реализации решений для вашего бизнеса.
Академия Аналитики — онлайн-образовательный проект, который создан командой АНАЛИТИКА ПЛЮС для того, чтобы компании быстро и успешно внедряли решения для анализа данных, а их сотрудники профессионально росли.
Получить доступ на платформу Академия Аналитики
Преимущества нашей платформы:
— ОНЛАЙН из любой точки мира
— До 30% каждого видео-курса БЕСПЛАТНО (более 65 бесплатных видео-уроков)
— Доступ сразу ко ВСЕМ видео-курсам при приобретении тарифа СТАНДАРТ или ПРЕМИУМ
— 24/7 выбирай СВОЕ время
Подписка ДЕМО бесплатно
После регистрации на платформе вы получаете ДЕМО доступ, 30% каждого видео-курса доступны БЕСПЛАТНО. Это хорошая возможность познакомиться с форматом видео-курсов и их содержанием.
Подписка СТАНДАРТ 6000₽
Оплата за 30 дней и доступ сразу КО ВСЕМ видео-курсам. Это отличная возможность проходить в том темпе, который вам нужен, изучать именно то, что вам нужно.
На нашей платформе 15 авторских курсов, они включают в себя 245 видео-уроков (76 часов интенсивного обучающего материала).
Какие видео-курсы предлагает Академия Аналитики?
— Видео-курс «Аналитика? Сделай сам!»
— Видео-курс «Основы теории создания хранилищ данных (DWH)»
— Видео-курс «Основы теории СУБД и языка SQL»
— Видео-курс «Аналитика интернет магазина»
— Видео-курс «Основы Tableau 2020.2 и выше»
— Видео-курс «Основы Tableau»
— Видео-курс «Tableau Новый функционал 2020.2+»
— Видео-курс «Tableau. Визуальный анализ»
— Видео-курс «Tableau. Сложный функционал»
— Видео-курс «Производительность в Tableau»
— Видео-курс «Посиделки с Tableau Ambassador. 1 сезон»
— Видео-курс «Посиделки с Tableau Ambassador. 2 сезон»
— Видео-курс «Alteryx основы»
— Видео-курс «Vertica одним взглядом»
— Видео-курс «Data Mining. Tableau + R, Vertica + R»