Аналитика больших данных в направлении строительства становится интересной темой, так как стройка идет по пути цифровизации. Поэтому растет интерес к аналитике данных по цифровым моделям, строительным процессам и т.д. Даже в профессиональных чатах просили подсказать хорошие, глубокие курсы по изучению инструментов PowerBI, чтобы было взаимосвязано с revit, dynamo.
Если кратко, то:
1. Система bi - это про отработку и визуализацию больших данных.
2. Под revit и dynamo (и другие программы) в связке с power bi полноценных курсов нет, т.к. узкая специализация.
3. Всякие dynamo и api - инструмент получения данных.
4. Отдельно нужно научиться извлекать данные из rvt, nwd, dwg, xlsx, ifc, xml форматов. Также надо уметь преобразовывать, сопоставлять и обрабатывать данные.
Аналитика в ТИМ - курс бесплатный.
Ренга api и Dynamo - также бесплатный курс.
Для погружения в тему можно пробежаться по двум статьям:
1. Связь Revit c базой данных PostgreSQL и PowerBI, где показан поверхностный процесс выгрузки данных из Revit в БД и последующая связь с Power BI, в котором формируется простой дашборд.
2. Визуальный и интерактивный отчёт матрицы коллизий из Autodesk Navisworks в Microsoft Power BI, где передача и визуализация данных происходит по средствам xml-формата.
По сути в них показан бегло процесс от экспорта данных, без Dynamo правда, до формирования графиков в Power BI. И уже можно получить некое представление о том как данные приходят и настраиваются в Power BI.
Далее уже следует углубляться в зависимости от запросы, как указали выше, по средствам отдельных уроков по каждой программе.
Обширный список ресурсов для обучения инструментам аналитика в догонку к видео, которое вышло сегодня. Собирал с любовью, не потеряйте!
1. SQL
https://www.sql-ex.ru/ - сборник с теорией и практикой по SQL
https://www.stratascratch.com/ - сайт с задачами аналитиков на собесах.
https://datalemur.com/ - бесплатный сайт с задачами аналитиков на собесах
https://grow.google/certificates/data-analytics/#?modal_active=none - google DA certificate
https://mystery.knightlab.com/ - SQL mystery
https://www.w3schools.com/sql/ - тренажер с теорией по SQL
https://sql-snippets.count.co/ - примеры кода под разные задачи из разных СУБД
https://stepik.org/course/63054/ - бесплатный тренажер SQL
https://ru.coursera.org/specializations/learn-sql-basics-data-science - +- Годный курс основы SQL для дата Science
https://youtu.be/l08y7J6Cp7o - вводный видос про Clickhouse
2. Python
https://pythontutor.ru/ - Бесплатный интерактивный курс по изучению питона
https://stepik.org/course/67/promo - бесплатный курс на степике Python
https://www.codecademy.com/learn/learn-python - Бесплатный курс основы Python
https://www.educative.io/courses/learn-python-3-from-scratch - Интерактивный тренажер по Python
https://www.codewars.com/?language=python - интерактивный ресурс с задачками, тестами и соревнованиями
https://checkio.org/ - интерактивный ресурс с обучением в игровой форме.
https://www.datacamp.com/ - Python для анализа данных. Отличный обучающий ресурс.
https://www.dataquest.io/ - Курсы и интерактивные задания Python+SQL для анализа данных
3. Визуализация
https://www.kaggle.com/datasets - Датасеты берем здесь.
https://www.tableau.com/learn/articles/free-public-data-sets - Или берем датасеты здесь. Также можно скачать табло чтобы сразу их испробовать.
https://lookerstudio.google.com/ - Покопаться ничего не скачивая на комп можно здесь.
https://www.youtube.com/watch?v=dsAVSsdYC10 - Туториалы по датастудио, если вы совсем новичок.
https://datastudio.google.com/reporting/7081778b-798a-4712-8ecf-cf9977ab3476 - Мой мини дашбордик по ютубу из видео (можно чуть чуть заглянуть под капот моего канала).
https://www.youtube.com/watch?v=ve8aQmE-vBY - Видео про то, как строить визуализации.
https://www.chitai-gorod.ru/catalog/book/1273187/ - Книга про качественные визуализации, которую я рекомендую.
Где и как учить SQL бесплатно?
SQLZoo (https://sqlzoo.net/) - бесплатный ресурс, который предоставляет интерактивные уроки и задачи для изучения SQL. Уроки начинаются с простых запросов и наращивают сложность по мере продвижения.
W3Schools SQL (https://www.w3schools.com/sql/) - популярный сайт для изучения SQL и других языков программирования. Содержит множество уроков и примеров с возможностью практического применения.
Codecademy SQL (https://www.codecademy.com/learn/learn-sql) - интерактивный курс для изучения SQL с возможностью практического применения на практике.
SQLBolt (https://sqlbolt.com/) - бесплатный ресурс, который предоставляет уроки и задачи для начинающих и продвинутых пользователей SQL.
Khan Academy SQL (https://www.khanacademy.org/computing/computer-programming/sql) - бесплатный курс SQL, предоставляющий уроки и задачи для изучения языка.
Udacity SQL (https://www.udacity.com/course/sql-for-data-analysis--ud198) - курс SQL от Udacity, который научит Вас основам языка SQL и его применению в анализе данных.
LearnSQL (https://learnsql.com/) - платный ресурс для изучения SQL. Содержит большое количество уроков и практических заданий.
SQLCourse (http://www.sqlcourse.com/) - бесплатный ресурс для изучения SQL. Содержит уроки, задания и тесты для проверки знаний.
SQL Tutorial (https://www.sql-tutorial.ru/) - бесплатный ресурс для изучения SQL на русском языке. Содержит уроки и задания для практического применения.
Mode Analytics SQL Tutorial (https://mode.com/sql-tutorial/) - бесплатный курс SQL от Mode Analytics, который научит Вас базовым и продвинутым навыкам работы с языком SQL.
SQL Exercises (https://www.sql-ex.ru/) - бесплатный ресурс с задачами и упражнениями для изучения SQL. Содержит задания для практического применения на практике.
SQL Fiddle (http://sqlfiddle.com/) - бесплатный онлайн-редактор SQL, который позволяет создавать, тестировать и отлаживать SQL-запросы.
Learn SQL the Hard Way (https://learncodethehardway.org/sql/) - книга для изучения SQL, содержащая уроки и задания для практической работы.
SQL Zoo (https://www.sqlzoo.net/wiki/AdventureWorks) - бесплатный ресурс для изучения SQL, содержащий уроки и задания на основе базы данных AdventureWorks.
DataCamp SQL (https://www.datacamp.com/courses/intro-to-sql-for-data-science) - курс SQL от DataCamp, который научит Вас основам языка SQL и его применению в анализе данных. Содержит уроки и практические задания на практике.
Python
база с нуля:
https://stepik.org/course/58852/syllabus
база для знающих:
https://stepik.org/course/68343/syllabus
парсинг IFC:
https://bim.vc/edu/courses/tim-orientirovannaya-analitika-sovremennye-instrumenty-raboty-s-dannymi/
использование IfcOpenShell:
https://wiki.osarch.org/index.php?title=IfcOpenShell_code_examples
парсинг и импорт в XML с помощью ElementTree:
https://www.youtube.com/watch?v=SgCGiZk6BxM&t=476s&ab_channel=RomanBrovko
решение общих задач с помощью Python:
"Автоматизация рутинных задач" (2016)
см. вложение ниже
Power BI:
Курс по PBI (бесплатно):
https://www.youtube.com/playlist?list=PL0FN8SpXya_KSmu2RwlNJ__LJMeyXTnkv
Курс по PBI (платно):
https://stepik.org/course/122957/promo
Понимание основ DAX, Excel, PQ и M:
https://www.youtube.com/watch?v=HfDb8vRS-0w&ab_channel=BI-%D1%8D%D1%82%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%82%D0%BE%3APowerBI%2CPivot%2CDAX
DAX:
https://biprosto.ru/dax/functions.html
Визуализация:
Построение дэшбордов:
https://www.youtube.com/watch?v=ve8aQmE-vBY&t=4s&ab_channel=HighLoadChannel
Предыдущее видео - мастхев в инструментарии, остальное можно поизучать на его канале:
https://www.youtube.com/c/instituteBI/playlists
Примеры отчётов для строительных компаний:
https://alexkolokolov.com/ru/gallery/developer_dashboard
Апгрейды отчёта 1 (eng):
https://www.youtube.com/c/HowtoPowerBI
Апгрейды отчёта 2 (eng):
https://www.youtube.com/c/GuyinaCube
Что бы ещё хотел отметить:
Теоретические основы работы с данными:
https://stepik.org/course/102548/syllabus
Строительные датасеты:
https://data.world/datasets/construction
Витрина данных:
https://asu-analitika.ru/chto-takoe-vitrina-dannyh-opredelenie-raznovidnosti-i-primery/