Неконсистентность данных в распределенной системе: Apache Kafka и проблема двойной записи
Проклятье CAP-теоремы: проблема целостности данных в распределенной системе и варианты ее решения. 3 шаблона проектирования микросервисной EDA-архитектуры на Apache Kafka: transactional outbox, Event Sourcing и listen to yourself. Согласно CAP-теореме, распределенная система в любой момент времени обеспечивает выполнение только 2-х требований из 3-х, например, целостность (Consistency) данных и доступность операций чтения и записи (Availability) или целостность и устойчивость системы к разделению (Partition Tolerance), или доступность и устойчивость к разделению...
2 года назад
Требования к ETL-сервисам – построение аналитических решений на базе myBI Connect
Привет от Technology Enthusiast! Сегодня речь пойдет о сервисах интеграции данных, их функциональных возможностях и ограничениях. Рассмотрение будем вести на примере сервиса myBI Connect, опираясь на который я реализовал с десяток аналитических проектов за последние несколько лет. Как писали ранее, тут будем публиковать не только наши статьи, но и тексты наших партнеров. В этой статье большой обзор задач ETL и myBI Connect от Артемия Козыря. В прошлом месяце она уже публиковалась на хабре, но мы решили ее и у себя выложить, получился хороший обзорный текст...