Change Data Capture (CDC) в Yandex Data Transfer: гид по технологии с примерами В современных микросервисных архитектурах регулярно встречаются потребности в кешах, индексах полнотекстового поиска, репликах, а также в реактивном взаимодействии компонентов. Решать все эти задачи по отдельности — тот ещё вызов, но оказывается все эти задачи могут быть решены одним механизмом, и имя ему: Change Data Capture. Меня зовут Тимофей Брунько, я разработчик Yandex Cloud. В этой статье я расскажу о том, как в теории и на практике работает CDC — Change Data Capture, или буквально «захват изменения данных», — и как наш сервис Yandex Data Transfer с поддержкой формата Debezium помогает пользователям решать задачи поставки данных, связанные с CDC. В конце статьи покажу реальные кейсы. Поехали. Читать дальше → https://habr.com/ru/companies/yandex_cloud_and_infra/articles/754802/?utm_source=habrahabr&utm_medium=rss&utm_campaign=754802

👥 Мультитенантность + CDC 📗 Как втащить Change Data Capture в мультитенантный сервис в короткий срок без программистов? Лариса - крутой архитектор нашей команды "Могём в 23:59" с архитектурной каты МТС, на которой мы заняли призовое 2ое место - специально для канала разобрала реальный рабочий кейс. I. Что есть: • Данные записываются и обновляются в PostgreSQL. • Требование заказчика: "Хотим удобный поиск! Вот тебе аж 2 недели! И загруженная команда разработчиков!" II. Какой архитектурный паттерн нам поможет? Change Data Capture(CDC) - захват изменяющихся данных! III. Что делаем: • Настраиваем логическую репликацию в PostgreSQL. • С помощью CDC перекладываем данные в OpenSearch. • Для его реализации раскатываем и настраиваем pgSync. • Описываем в json маппинг нужных данных из таблиц PostgreSQL в индекс OpenSearch. • Катим на прод. ‣ Вуаля! Теперь удобно ищем данные в OpenSearch! Profit! 🎓 Подробности в статье: https://buildin.ai/share/fe1c7a34-e179-4152-917a-d981ec352e62?code=7PU5ET ▶️ Внедрял новую технологию на свой проект за 2 недели?