В рамках сотрудничества МТУСИ и Сбера с начала 2023/2024 учебного года на базе кафедры «Математическая кибернетика и информационные технологии» открывается курс по использованию технологий больших данных. Обучение будет проходить с применением самых современных технологий на вычислительных ресурсах, предоставленных банком.
Программа курса включает:
· Знакомство с облачным стеком технологий работы с большими данными;
· Работу с файловыми системами HDFS, Ozone;
· Написание кода для распределенных вычислений;
· Работу с движком структурированных запросов Hive;
· Работу с NoSQL СУБД HBase;
· Выполнение расчётов в Spark, включая библиотеки SparkSQL и Spark Streaming;
· Знакомство с системами планирования рабочих процессов (Oozie, Airflow);
· Работу с брокером сообщений Kafka;
· Знакомство с системами сбора и обработки логов (ELK stack, Flume).
По итогам обучения студенты будут соответствовать требованиям для прохождения оплачиваемой стажировки Sberseasons по направлению Data Engineering.