Найти тему

Система мониторинга и управления сбором данных

Оглавление
Статья подготовлена для студентов курса «Разработчик на Spring Framework» в образовательном проекте OTUS.

Курс «Разработчик на Spring Framework» включает в себя не только широкий спектр теоретических и практических материалов, но и проектную работу. Выполнив её, студент закрепит полученные знания и расширит своё портфолио, что обязательно пригодится при трудоустройстве.

Предлагаем вашему вниманию один из последних проектов под названием «Система мониторинга и управления сбором данных», который был создан нашим выпускником Марком Герасимовым.

Поставленные цели

Существует много датчиков, с некоторой периодичностью отправляющих свои показания по протоколу ТСР на сервер. Целевая нагрузка в таких случаях составляет 2-5 тыс. сообщений в секунду. Потребовалось решение, способное предоставить доступ к данным, получаемым с датчиков, и обеспечивающее удалённое управление устройствами.

Речь идёт о системе, которая не только должна была поддерживать гибкую ролевую модель, но и предполагать наличие следующих ролей:

— администрирование (регистрация, удаление датчиков и пользователей);

— управление устройствами;

— просмотр данных.

Архитектура и инструменты

Для решения поставленных задач студент предложил следующую архитектуру:

-2

При практической реализации проекта задействовался широкий спектр инструментов:

— Spring Boot — как основа каждого из модулей;

— Spring Integration — точка входа для получения данных по ТСР;

— Apache Kafka — транспорт между ТСР-gateway и backend;

— PostgreSQL — хранилище показаний, пользователей, устройств и прочего;

— Spring Data JPA — работа с хранилищем;

— Spring Security — задачи авторизации и ролевая модель;

— Spring MVC — REST-сервис;

— Swagger UI — описание API и базовый UI;

— Spring Shell — основа тестового модуля-заглушки.

Что в итоге?

В результате студентом была создана система мониторинга и управления сбором данных, которая продемонстрировала следующие результаты:

— достаточные показатели по скорости: около 10 000 сообщений в секунду;

— гибкая ролевая модель (планируется ещё добавление АCL);

— возможность разделение зон ответственности между независимыми модулями.

Например, можно без проблем переехать на другой хост без потери данных.

Проект был успешно защищён и одобрен преподавателем. Ознакомиться с исходным кодом работы вы можете по здесь.

Чтобы присоединиться к ближайшей группе, обязательно пройдите вступительное тестирование:
ПРОЙТИ ТЕСТИРОВАНИЕ