12 подписчиков
В ответ на пост
Парсерам быть или не быть?
Давайте сегодня вместе разберём данный кейс.
Начнём с общей HLD схемы. Основные внутренние компоненты:
— Пользовательский интерфейс (UI): Предоставляет интерфейс для настройки и управления парсерами.
— Планировщик задач (Scheduler): Отвечает за расписание и запуск парсеров.
— Система выполнения парсеров (Executor): Запускает парсеры в контейнерах.
— Хранилище данных (Data Storage): Сохраняет собранные текстовые данные.
— Мониторинг и логирование (Monitoring & Logging): Отслеживает работу системы и парсеров.
Внешние компоненты:
— ML dev: Получают доступ к данным для дальнейшего анализа.
— Администраторы: Через UI управляют работой парсеров
— Web: ресурсы для парсинга
Есть идеи, как можно улучшить схему на этом этапе?
Какой стек будем выбирать для каждого из узлов? 🤔
Около минуты
12 ноября 2024