Оркестрация streaming-пайплайнов: как обеспечить exactly-once обработку в распределённой системе
Стоит начать с честной, важной поправки к самому термину, прежде чем разбирать механизм. В распределённой системе, где машины падают, сети разрываются, а процессы перезапускаются без предупреждения, гарантия, что каждая запись будет обработана ровно один раз, в строгом смысле невозможна в принципе — ни одна система не способна обеспечить, что запись физически будет затронута только одним прикосновением. То, что на практике называют exactly-once, — это не гарантия единственного физического касания записи, а гарантия единственного эффекта на конечный результат: запись может быть повторно прочитана,...