Помните старую шутку про сетевика? «Раньше у меня были проблемы с производительностью - я купил SAN. Теперь у меня проблемы с совместимостью и одна проблема с производительностью».
Долгое время сети хранения данных (SAN) были уделом избранных. Мы привыкли, что SAN - это обязательно Fibre Channel: специальные коммутаторы, специальные HBA-адаптеры в серверах, специальные оптические модули. Свой мир со своими правилами.
Но технологии не стоят на месте. И сегодня Ethernet-коммутаторы, особенно с поддержкой EVPN/VXLAN, уверенно входят на территорию, которая раньше принадлежала только FC.
Давайте разберемся, как это работает и на каком железе.
Чем болел классический SAN?
Классический SAN на Fibre Channel:
- Это выделенная сеть. Только для хранения. Никакой посторонний трафик не мешает.
- Механизм Buffer-to-Buffer Credits гарантирует, что пакеты не теряются даже при перегрузках.
- Но: Для всего этого нужна отдельная инфраструктура. Отдельные коммутаторы. Отдельные адаптеры. Отдельные знания.
Альтернатива (IP-сети / Ethernet):
- Все едет по одной физической сети - и пользовательский трафик, и трафик хранения.
- Проблема: Классический Ethernet при перегрузках пакеты теряет. А для хранения данных потеря пакета - это катастрофа.
И тут появляется технология, которая меняет правила игры.
Как Ethernet стал SAN? Встречайте EVPN/VXLAN
Представьте, что вы строите дата-центр. Раньше вам нужно было тянуть две параллельные сети: LAN (для доступа пользователей) и SAN (для подключения дисковых массивов). Две дороги к одному дому.
Современная архитектура IP-фабрика (Spine-Leaf) говорит: «Давайте сделаем одну физическую сеть, но внутри неё - выделенные "тоннели" для критичного трафика».
Это как метро: поезда разных линий едут по одним и тем же туннелям, но не мешают друг другу.
И здесь на сцену выходят коммутаторы, способные работать как надежный транспорт для SAN.
На чем строить современную IP-фабрику?
Для построения такой сети нужны коммутаторы с тремя ключевыми свойствами:
- Неблокируемая матрица - чтобы при полной загрузке всех портов не было потерь.
- Поддержка EVPN/VXLAN - чтобы создавать изолированные сети поверх физической инфраструктуры.
- Предсказуемая задержка - чтобы базы данных не "тормозили".
Этим требованиям отвечают современные модели. Рассмотрим две из них.
Eltex MES5310-48
Это высокопроизводительный коммутатор с интерфейсами 40GBASE-R и 100GBASE-R. Он предназначен для использования в операторских сетях в качестве устройства агрегации, а в ЦОД - в роли Top-of-Rack или End-of-Row коммутатора.
Ключевые особенности:
- Неблокируемая коммутационная матрица - гарантирует корректную обработку пакетов при максимальной нагрузке.
- Минимальные и предсказуемые задержки для всех типов трафика - то, что доктор прописал для SAN.
- Схема вентиляции front-to-back - эффективное охлаждение в условиях современных ЦОД.
- Резервирование питания (1+1) и сменные модули вентиляции с горячей заменой.
Eltex MES5500-32
Это устройство с аналогичными скоростными характеристиками (40/100GbE), но с дополнительной гибкостью.
Ключевые особенности:
- Поддержка двух схем вентиляции - Front-to-Back и Back-to-Front. Ставить можно в любую стойку, не думая о "горячих" и "холодных" коридорах.
- Резервирование питания (1+1) и горячая замена вентиляторов.
- Неблокируемая матрица и предсказуемая задержка.
Оба коммутатора поддерживают EVPN/VXLAN, что позволяет строить масштабируемые сети для центров обработки данных с простой и понятной архитектурой.
Что дает EVPN/VXLAN для SAN?
1. Anycast Gateway - шлюз, который всегда рядом
В классических сетях при миграции виртуальной машины с одного сервера на другой ей приходится "узнавать" новый шлюз. Это время простоя.
С Anycast Gateway (раздел 10.3 руководства) все Leaf-коммутаторы в фабрике используют один и тот же IP и MAC-адрес шлюза. Виртуальная машина "переезжает" - а сеть для нее не меняется. Пакеты не теряются.
2. EVPN Multihoming - два пути к одному серверу
В классическом FC мы подключали один сервер к двум коммутаторам для отказоустойчивости. В Ethernet-фабрике это делает EVPN Multihoming (раздел 11).
Вы берете два Leaf-коммутатора (например, два MES5310-48), объединяете их в один Ethernet-сегмент с общим идентификатором ESI, и подключаете к ним сервер через обычный LAG.
Сервер "думает", что подключен к одному устройству. Отказал один коммутатор? Трафик мгновенно пошел через второй. Ни одного потерянного пакета.
3. Инкапсуляция VXLAN - изоляция без потери производительности
VXLAN упаковывает кадры клиента в UDP-пакеты и отправляет через IP-сеть. При этом:
- Удаленные сети хранения "видят" друг друга как соседние.
- BUM-трафик (широковещательный, неизвестный, multicast) может реплицироваться либо на входящем VTEP (Ingress Replication), либо через PIM Multicast (раздел 9), когда репликацией занимаются Spine-коммутаторы.
Классический FC vs IP-фабрика: что выбрать?
Вывод: Классический FC остается там, где нужны десятилетиями проверенные решения и абсолютная предсказуемость (например, в банковском секторе). Но для современных ЦОД, где важны гибкость, унификация инфраструктуры и скорость развертывания, IP-фабрика на EVPN/VXLAN предлагает более элегантное решение.
Пример из жизни
Предположим, приходит задача: подключить 500 серверов к дисковым массивам с требованием отказоустойчивости и производительностью 40 Гбит/с.
По-старинке (FC):
- Покупаем FC-коммутаторы.
- Покупаем HBA-адаптеры в каждый сервер.
- Настраиваем зонирование.
По-современному (IP-фабрика):
- Ставим два коммутатора MES5500-32 в роли Spine.
- Ставим несколько MES5310-48 в роли Leaf.
- Настраиваем BGP с адрес-семейством l2vpn evpn.
- Создаем VXLAN-инстансы с нужными VNI.
- Включаем Anycast Gateway на VLAN-интерфейсах.
Серверы подключаются обычными Ethernet-адаптерами через LAG к двум Leaf. Все работает. Единая сеть. Без потерь.
Мое мнение: Классический Fibre Channel еще долго будет жить в legacy-сегменте. Но новые проекты все чаще смотрят в сторону конвергентных решений. Инженеры, которые разбираются в BGP, EVPN и VXLAN, сейчас востребованы как никогда.
А вы уже пробовали поднимать VXLAN/EVPN для трафика хранения? Или пока остаетесь на проверенном FC? Напишите в комментариях - интересно, что используете в своей работе.
P.S. В документации по IP-фабрике (например, в руководстве Eltex) очень подробно разобраны все этапы настройки - от включения jumbo-frame до EVPN multihoming. Разделы 8-11 - настоящая энциклопедия для тех, кто решил строить современную сеть хранения.
Источник: https://docs.eltex-co.ru