Добавить в корзинуПозвонить
Найти в Дзене
IT Еxtra

Из AWS в Yandex Cloud: как мы перевозили терабайты данных и почему это было больно

Привет! Если вы работаете в российском ИТ, то аббревиатура «AWS» (Amazon Web Services) для вас, скорее всего, уже стала частью светлого прошлого. За последние пару лет массовый исход отечественных компаний с зарубежных облачных платформ превратился из экзотики в суровые будни. Кому-то прилетели прямые блокировки аккаунтов, кто-то просто устал придумывать хитрые схемы оплаты через третьи страны, а у кого-то жестко прижало по закону о персональных данных. Главной гаванью для спасения гигабайтов кода и терабайтов данных в нашей реальности стало Yandex Cloud. Маркетологи красиво рисуют в презентациях, что переезд — это дело пары кликов в консоли. Но как человек, который лично руководил «великим переселением» огромного высоконагруженного проекта из зарубежного облака в отечественное, скажу честно: реальность гораздо циничнее. Перевезти терабайты данных и не сойти с ума — та еще задачка. Давайте разберем главные грабли, на которые наступает почти каждый архитектор при такой миграции. Самая б
Оглавление

Привет! Если вы работаете в российском ИТ, то аббревиатура «AWS» (Amazon Web Services) для вас, скорее всего, уже стала частью светлого прошлого. За последние пару лет массовый исход отечественных компаний с зарубежных облачных платформ превратился из экзотики в суровые будни. Кому-то прилетели прямые блокировки аккаунтов, кто-то просто устал придумывать хитрые схемы оплаты через третьи страны, а у кого-то жестко прижало по закону о персональных данных.

Главной гаванью для спасения гигабайтов кода и терабайтов данных в нашей реальности стало Yandex Cloud. Маркетологи красиво рисуют в презентациях, что переезд — это дело пары кликов в консоли.

Но как человек, который лично руководил «великим переселением» огромного высоконагруженного проекта из зарубежного облака в отечественное, скажу честно: реальность гораздо циничнее. Перевезти терабайты данных и не сойти с ума — та еще задачка. Давайте разберем главные грабли, на которые наступает почти каждый архитектор при такой миграции.

Грабли №1: Иллюзия одинаковых сервисов

Самая большая ментальная ловушка — думать, что если в Yandex Cloud сервисы называются так же, как в AWS, то они работают идентично. Да, базовые вещи вроде виртуальных машин или управляемых баз данных PostgreSQL внешне очень похожи. Но дьявол, как всегда, кроется в нюансах.

В AWS многие сервисы развивались и полировались больше 15 лет. Там под капотом скрыта тонна автоматики. Например, если в американском облаке база данных при пиковой нагрузке умеет сама на лету расширять дисковое пространство или гибко жонглировать ресурсами, то в отечественных аналогах некоторые из этих процессов до сих пор приходится настраивать и контролировать вручную. Архитектура репликации и бэкапов в управляемом Kubernetes тоже имеет свои локальные особенности, которые под большой нагрузкой начинают вести себя совершенно не так, как вы привыкли в AWS.

Грабли №2: Сетевая связность и «бутылочное горлышко»

Когда вы перевозите не просто сайт-визитку, а огромную систему, вы не можете выключить её на выходные, перенести данные на флешке и включить обратно. Бизнес должен работать без пауз (zero downtime). Значит, какое-то время ваша инфраструктура будет жить на два дома: часть сервисов уже в России, часть — всё еще в AWS.

И вот тут начинается кошмар с сетевой связностью. Настроить стабильный, зашифрованный и, главное, быстрый канал связи между зарубежными дата-центрами Amazon и серверами Яндекса — это отдельный вид инженерного искусства. Из-за трансграничных маршрутов задержки (пинг) начинают скакать как сумасшедшие. Если ваше приложение критично к скорости ответа, временная жизнь в режиме «между двух облаков» может легко уронить производительность всей системы.

Грабли №3: Великое переселение S3-хранилищ

У любого крупного проекта есть терабайты картинок, пользовательских файлов, архивов и логов, которые лежат в облачном хранилище (S3). Казалось бы, протокол S3 — это мировой стандарт, в чем проблема просто скопировать файлы из одного бакета в другой?

Проблема в масштабе и деньгах. Во-первых, Amazon берет очень ощутимые деньги за так называемый «исходящий трафик» (egress traffic). Когда вы начнете выкачивать свои терабайты из AWS, вам прилетит такой финальный счет, от которого у финансового директора дернется глаз.

Во-вторых, стандартные утилиты копирования на больших объемах начинают безбожно сбоить: рвутся сессии, теряются отдельные файлы, не переносятся права доступа и метаданные. Приходится на ходу изобретать кастомные сценарии, разбивать данные на тысячи мелких потоков, проверять контрольные суммы каждого файла и молиться, чтобы посреди ночи не отвалился магистральный канал связи.

Грабли №4: Баги, которые всплывают только под нагрузкой

Вы всё настроили, провели тестовые прогоны на небольшом количестве пользователей — всё работает идеально. Наступает день «Х», вы перенаправляете 100% реального трафика в новое облако... и система ложится.

Почему? Потому что синтетические тесты никогда не отражают реальность. Под настоящим Highload-наплывом в отечественных сервисах (например, в управляемой очереди сообщений Kafka или в балансировщиках нагрузки) начинают всплывать внутренние лимиты и специфические баги платформ, о которых даже служба поддержки облака иногда узнает вместе с вами. В такие моменты DevOps-инженеры превращаются в пожарных, которые прямо на «живом» продакшене перенастраивают параметры операционной системы и крутят ручки конфигураций.

Какой вывод?

Миграция из AWS в Yandex Cloud — это не просто смена провайдера. Это полноценный и сложный проект реархитектуры. Отечественные облака развиваются колоссальными темпами, и сегодня они действительно способны держать огромные нагрузки. Но они другие.

Главный совет коллегам: закладывайте на переезд в три раза больше времени, чем кажется изначально. Тестируйте каждый шаг под максимальной нагрузкой, забудьте про привычные амазоновские «автоматические костыли» и будьте готовы к тому, что многие вещи придется переосмыслить и настроить своими руками. Зато после успешного переезда вы получите инфраструктуру, которая защищена от любых внешних санкций и блокировок, а это в наше время дорогого стоит.

А вашей компании уже пришлось пройти через процедуру облачного импортозамещения?

❤️ Поддержите автора Донатом — это лучший способ сказать спасибо всей команде IT Extra. Ваша поддержка очень вдохновляет нас на создание интересного и качественного контента!

👍 Ставьте лайки если хотите разбор других интересных тем.

👉 Подписывайся на IT Extra на Дзен чтобы не пропустить следующие статьи

Если вам интересно копать глубже, разбирать реальные кейсы и получать знания, которых нет в открытом доступе — вам в IT Extra Premium. Это — ваш личный доступ к экспертизе, упакованной в понятный формат. Не просто теория, а инструменты для роста.

👉 Переходите на Premium и начните читать то, о чем другие только догадываются.