Поскольку наша статья рассчитана на человека с начальными и базовыми знаниями по сетям передачи данных, то я не буду глубоко уходить в терминологию и буду объяснять в упрощенных понятиях интуитивно понятным обычному читателю.
1. Коротко об оптическом уплотнении
1.0 Что такое оптическое уплотнение
При передаче через оптическое волокно используются длины волн от 1270 до 1610нм. Как распределяется весь спектр по диапазонам наглядно видно на рисунке 1. Разбитие на диапазоны происходит так, как для каждого из диапазонов есть отличие по затуханию в оптическом волокне, уровню дисперсии и вносимым искажением. В результате для передачи данных в разных диапазонах используются разное оборудование.
Передающее оборудование разделяется на «серое», и «цветное». Основное отличие «серых» модулей в том, что у них для лазера точность +-30нм, а для «цветных» от +-0.4нм(DWDM) до +-7.5нм(CWDM). Чтобы долго не описывать теорию приведу несколько наглядных иллюстраций:
На 4 рисунке можно увидеть, как за счет использования «цветных» модулей передается 10 каналов по тем же оптическим волокнам. При использования DWDM количество каналов по двум волокнам может достигать 192.
1.1 Когда стоит думать об оптическом уплотнении
Оптическое уплотнение позволит решить одну из следующих задач:
- увеличить количество каналов в имеющемся волокне,
- организовать резервирование при передачи по волокнам, идущим разными путями,
- передать данные на большую дистанцию,
- защитить данные шифрованием
Рассмотрим каждый из случаев отдельно.
Увеличить количество каналов в имеющемся волокне. Когда у вас лежит кабель 96 волокон между площадками, то вы даже не задумываетесь об их экономии, но чаще всего ситуация обратная. Вам нужно обеспечить дополнительный канал, а свободных волокон нет. Либо у вас вообще нет своей оптики и вам нужно брать волокна в аренду и потому чем меньше волокон тем лучше. Сразу скажу, что в данном случае многое зависит от расстояния между узлами. Если расстояние менее 20Км и нет проблем с согласованием прокладки оптики, то проложить новый кабель бывает дешевле, чем строить уплотнение. Однако бывают ситуации, когда проложить новый кабель: невозможно, слишком долго или слишком дорого. Тогда можем рассматривать оптическое уплотнение.
Организовать резервирование при передачи по волокнам, идущим разными путями. У вас свой кабель между двумя площадками. Необходимо обеспечить резервирование на случая обрыва. При наличии между этими площадками другого оператора связи, можно взять в аренду или купить у него одно или пару волокон. Используя оптическое уплотнение можно все свои каналы уместить в новое волокно. При этом можно использовать оптические переключатели, для обеспечения резервирования. Для наглядности приведу схему на рисунке 5.
Передать данные на большую дистанцию. Чем выше скорость, тем меньше максимальное расстояние для одного пролета. Если для 1Гб можно передавать на 160Км, 10 - 100Гб до 80Км, то для скоростей выше 100Гб макс дальность всего 10Км. Модули FC 32/64 так же имеют ограничение в 10Км. В тех случаях, когда нужно обеспечить передачу на большую дистанцию придется использовать оборудования для оптического уплотнения.
Защитить данные шифрованием. Между площадками часто передается несколько сервисов. Самая распространенная комбинация Ethernet + Fiber channel. Причем каналов таких может быть несколько. Чтобы не шифровать каждый отдельно, а оборудование fiber channel может и не поддерживать стойкого шифрования, применяется шифрование на уровне ODU фреймов в DWDM. Большинство вендоров оборудования DWDM поддерживают такую возможность.
1.3 Оборудование DWDM для диапазонов C / L / O
При выборе решения DWDM вам будет попадаться решения с указанием диапазонов, в которых оно работает. Немного поговорим об их особенностях.
- Диапазон С – 1525-1565нм. Если говорить о сетях DWDM то это самый массово распространенный и наиболее популярный диапазон. Для этого диапазона как большой выбор усилителей EDFA, так и пассивных компонентов типа мультиплексоров. В C диапазоне вы можете передать до 96 каналов по 2 волокнам в 50ГГц варианте. Скорость таких каналов будет от 1 до 300Гб. Если вы не МЕГАтелеком, а наша статья именно для таких, то стоит смотреть на 100ГГц сетку. В 100ГГц сетке можно передавать каналы с любой скоростью, всего таких каналов можно поднять 48. Если не планируете использовать скорости выше 800G, то можно обратить внимание на 75ГГц сетку. При 75ГГц сетке можно поднять до 80 каналов по 2ОВ. При выборе сколько каналов вы хотите между узлами, стоит учитывать, что высокоскоростные транспондеры продолжают дешеветь. Таким образом в 2027 году можно будет поднять 800Гб по такой же цене, как в 2026 400Гб. Так что запускать сейчас каналов больше чем нужно именно сейчас нет смысла. В большинстве случаев ваша потребность закроется несколькими каналами 100/400Гб, а по мере роста трафика можно перейти на 800Гб. Именно поэтому использование 100ГГц сетки ITU более перспективно. Для справки канал 800Гб/с требует 75 или 100ГГц, в зависимости от режима передачи.
- Диапазон L - 1565-1625нм. Используется как дополнительный к C, в том случае, если 96 каналов вам не хватило. Для усиления используются гибридные EDFA усилители C +L диапазона. Данный диапазон используют компании строящие магистральные линии, для предоставления другим каналов связи.
- Диапазон О - 1260-1360нм. В последнее время появились предложения для каналов 25/100G. Данный диапазон не усиливается, но отлично подходит для передачи на расстояния до 40Км. В O диапазоне можно передать до 16 каналов 25 или 100Gb. Так как сигнал не усиливается, то чем больше вы будете передавать каналов, тем меньше максимальная дальность. Так для примера для 4 каналов макс. Дальность 30Км, а для 16 только 10Км
2.0 Какую технологию выбрать: CWDM/некогерентный DWDM/ когерентный DWDM
2.1 Какие задачи собираемся решать
Прежде чем выбирать технологию передачи нужно определиться что именно мы хотим, так как для бюджетных решений есть аппаратные ограничения. Вот наиболее часто возникающие задачи:
- Передать Gbe и FC трафик на дальности до 40Км
- Передать только Gbe трафик на дальности до 80Км
- Передать Gbe трафик на дальности более 80Км
- Защитить трафик шифрование между узлами
2.2 Статические каналы или ROADM
Если не вдаваться в глубокие технические детали, то обычный( пассивный) мультиплексор имеет некоторое число предопределенных каналов. У мультиплексора есть один или два COM порта, которые подключаются к линии и некоторое число клиентских портов для подключения оптических модулей. Пример на рисунке 6
Пассивные мультиплексоры могут передавать трафик только в одном направлении(или 2х если собраны два мультиплексора в одном корпусе). Количество и номера каналов заранее предопределены. Пассивные мультиплексоры позволяют создавать только схемы точка точка и если нужно добавить/убрать канал или переключить на новый маршрут, то необходимо делать ручную коммутацию пачкордами при этом еще и выравнивать уровни групповых сигналов. В общих чертах это выглядит как на рисунке 7. Пассивные мультиплексоры вносят затухания в линию от 2 до 6,5дБ, в зависимости от количества каналов.
ROADM – это активное устройство содержащее в себе оптический коммутатор(WSS), изменяемый аттенюатор и EDFA усилитель. Благодаря этому ROADM может выравнивать уровни мощности сигналов для каждого канала, что очень важно при большом количестве каналов или когда мы в процессе эксплуатации добавляем / убавляем каналы. За счет оптического коммутатора у вас имеется возможность выделить любое количество каналов из группового сигнала. Это позволяет разделить общий поток на несколько потоков поменьше, при этом вы сами решаете сколько и каких каналов отправится в выход с ROADM. Подобное позволяет гибко управлять трафиком, разделяя его между разными площадками но так же и вносит определенные минусы. Из явных минусов это внесение значительного затухания в линию и высокая стоимость самих ROADM. В зависимости от производителя ROADM может быть как картой в шасси или отдельно стоящим устройством. По количеству направлений они могут быть от 2 до 32. Чем больше направлений, тем больше затуханий вносится в линию. Для наглядности посмотрим на вариант ROADM от Packetlight, на рисунке 8.
Примеры вариантов использования показаны на рисунке 9.
На рисунке показано соединение трех узлов и примеры как могут вводиться и выводиться каналы. Например верхнего канала мы подаем два канала, один прямой между площадками 1 и 3, второй с выводом на площадке 2. В случае, если сгорит коммутатор 1, на площадке 2, то мы сможем оба канала передать через порт 2 и площадка 1 получит 2 канала. Если на площадке 2, сгорит оптический модуль в сторону площадки 1 то передав трафик от канала 1 в канале 2, мы получим его на площадке 3, а после завернем в сторону площадки 2. Таким образом мы получим деградацию сервиса, а не его полное отсутствие. Вариантов перенаправления трафика может быть много, особенно если у нас не линейная связь площадок, а некий граф и связи каждая с каждой. Подводя итоги мы получаем определенную гибкость в работе нашей сети. Прежде чем принять решение нужно ли использовать ROADM стоит задать себе вот такие вопросы:
- Как часто будет меняться количество каналов
- Есть ли у меня обходные пути, для обеспечения резервирования
Если ответы на данные вопросы отрицательный то использование ROADM выглядит сомнительным
2.3 Так ли нужно шасси, как о нем говорят
Шасси это некая коробка с блоками питания,управляющим модулем и некоторым количеством слотов для установки модулей. Модулями могут быть: оптические усилители, транспондеры, мультиплексоры, карты кросскомутации и прочее. Между собой шасси делятся на шасси операторского класса(OTN) и и шасси для ЦОД(DCI). Основное отличие в том, что карты для шасси операторского класса имеют свою память и при сгорании карты управления все продолжит работать. В шасси класса DCI все работает через карту управления и когда она сгорает, то вся работа шасси прекращается.
При этом и карты и само шасси для варианты DCI стоят дешевле. Фактически шасси DCI класса не дают никакого дополнительного бонуса по сравнению с набором отдельно стоящих устройств. Плюс в том, что у вас меньше шнуров питания и единый единый IP управления, минус в единой точке отказа – карте управления. Кроме того для ряда вендоров можно столкнуться с тем, что модульные карты более поздних ревизий не подходят к шасси ранних версий. Таким образом если у вас через 3-5 лет сгорит один из модулей и его нужно будет заменить, то новый модуль может не подходить и придется менять все шасси с модулями или искать на вторичном рынке вариант нужного модуля. Чаще всего шасси используют в случаях когда не хочется ставить цветные оптические модули прямо в коммутаторы. Например если коммутаторы вендоров класса А и по условиям гарантии вы избегаете устанавливать сторонние модули, либо есть желание разграничить транспортный уровень между узлами от локальных коммутаторов, когда за это отвечают разные люди.
Шасси OTN дополнительно делятся на простые, где модули от шасси получают только питание, а взаимодействие между модулями осуществляется через внешние пачкорды и шасси с внутренней коммутацией(backplane), в которых данные между модулями передаются по внутренней шине. Использование шасси с внутренней коммутацией дает гибкость в управлении трафиком, при использовании карт карт с кросскомутацией. Это позволяет вам перенаправлять ODU контейнеры между разными каналами или использовать раздельные карты для линейных и клиентских портов. Так например у вас в шасси могут быть несколько карт только линейных портов 100/400G и узел принимает трафик и передает регенерированные данные далее. Если потребуется организовать вывод части трафика на узле, то устанавливаем клиентскую модуль со скоростями от 1 до 400Г, в зависимости от потребности в скорости. Как и любая гибкость настройки такой функционал стоит дополнительных денег, примерно 30% к стоимости решения без внутренней коммутации. Так что прежде чем делать окончательное решение стоит взвесить так ли нужна вам гибкость в управлении. Понять это помогут простые вопросы:
- Есть ли у меня пути обхода вышедшего узла? Если нет, то чем именно я буду гибко управлять.
- Какую схему резервирования планируем? Если 1+1 с полным резервом всех модулей, то нужно ли дорогостоящее решение OTN или можно обойтись DCI, а каналы переключать на уровне коммутационного оборудования.
3. Что сейчас доступно и какие нюансы у каждого варианта
3.1 Варианты для скоростей до 25Гб/с
Самый бюджетный и легкий в эксплуатации вариант это использовать цветные модули(SFP/SFP+/SFP28) 1-25Г в комплекте с мультиплексором и если понадобится с EDFA усилителем, вот в таком варианте, где BA – booster amplifier, PA – pre-amplifier.
Либо использовать вариант с шасси. Плюсы и минусы шасси я описывал в главе 2.3.
Плюс такого варианта, низкая стоимость, при сгорании модуля выходит из строя только 1 канал. Точки отказа только EDFA усилители. Оборудование под такой вариант поставляют несколько компаний в России, например оборудование под маркой SNR.
В случаях с шасси появляются дополнительный точки отказа, это управляющая карта самого шасси, транспондеры, и серые оптические модули, которыми соединяются коммутаторы и транспондеры. Таким образом выбрав этот вариант мы не только переплачиваем за решение, но и заметно снижаем надежность всего решения.
Альтернативный вариант использование мукспондеров 100-400G. Мукспондер это вариант транспондера, у которого клиентские порты объединяются в более скоростной линейный порт. Например линейный порт 100Гб/с, а клиентские 10 х 10Гб/с)
Плюс схемы с мукспондером:
- можно передавать большое количество низкоскоростных каналов
- возможность передавать трафик на большие расстояния
- Возможность передавать трафик 40G
Минус схемы с мукспондером заметный рост цены, по сравнению с предыдущими вариантами, особенно на коротких дистанциях или в схемах с одном волокном. Дорогие линейные модули CFP2, для которых стоимость ЗиП резко выше чем для пары SFP модулей
3.2 Варианты для скоростей от 100 Гб/с
3.2.1 Передача с использованием цветных модулей
Для 100 ГБ/с возможен вариант схемы с использованием цветных модулей, установленных сразу в коммутатор, но он не очень популярный. Причина в том, что цветные модули QSFP28 есть двух видов. Первый вид модулей это модули с модуляцией PAM4, детально можно прочитать о ней в интернет. Особенность этих модулей в том, что у них низкие: оптический бюджет, устойчивость к дисперсии и уровень устойчивости к сигнал/шум(OSNR). В результате для работы сети требуется компенсатор дисперсии с подобранный с точностью до 5Км. Оптическое волокно без различных отклонений и дальность линии не более 80Км(возможно до 100Км, если использовать модули с двумя длинами волн по 50Гб каждый, пример на рисунке 13).
Главная проблема с PAM4 модулями именно в низком OSNR, так как даже после того как вы смогли запустить линию, канал может перестать работу из-за деградации волокна или после обрыва с восстановления линии.
Второй вид цветных модулей это QSFP28-DCO. Данные модули имею когерентную передачу и могут использоваться для передачи на расстояние до 120Км. Проблемы с такими модулями две:
- Коммутатор должен поддерживать работу с протоколом OpenZR. Нужно это чтобы коммутатор мог управлять номерами каналов, так как модули имеют перестраиваемую длину волны у лазера(Могут менять номера DWDM каналов).
- Цена на QSFP28-DCO (100Гб/с), такая же как на модули QSFP-DD-DCO ( 400Гб/с), что делает их использование не очень выгодным.
Оба варианта в России поставляют несколько поставщиков и в том числе НАГ.
3.2.2 Передача с использованием транспондеров/мукспондеров
Передача 100Гб/с с помощью транспондеров, это классический вариант, который используют все вендорские решения. Более ранние транспондеры имели встроенный лазер, но из современных таких решений уже не встретишь. Сейчас основной вариант это транспондер со сменным CFP2 модулем. В последние годы цена на CFP2 200Гб практически сравнялась со стоимостью 100Гб/с, так что транспондеров на 100Гб/с встретить трудно. Основные предложения на мукспондерах с клиентскими портами 2 x QSFP28 или 20 x SFP+. Схема будет аналогичной рисунку 12. В России такие решения доступны от российских вендоров Т8 и «ВПГ Лазеруан»(бывшие НТО «ИРЭ-Полюс»), «н3ком», СНР, фиброникс. Из иностранных Huawei и ряд китайских заводов второго дивизиона.
3.3 Варианты для скоростей 400/800Гб/с
3.3.1 Передача с использованием модулей DCO
В главе 3.2.1 мы уже упоминали о модулях DCO. Модули DCO есть для скорости 400G в форм-факторе QSFP-DD и OSFP, 800G доступен только в форм-факторе OSFP. Если у вас имеются коммутаторы 400 или 800G с поддержкой OpenZR/OpenZR+ то можно без использования транспондеров поднять канал связи на расстояние до 120 на модулях ZR или 480Км(для 400G например SNR-QSFP-DD-DCO-480), 1000Км(для 800G) на модулях ZR+. Сразу внесу ясность, что это не то расстояние на которое может светить сам модуль. В зависимости от ревизии модуля возможна передача от 50 до 80Км. Для большей дальности необходимо использовать EDFA усилители. Тут главное помнить, что в каналах 25 и более Гб/с уровень сигнала не рекомендуется поднимать выше +5дБм, так что бустер мы ставим только если версия модуля с уровнем -10дБм или используются мультиплексоры на много каналов. В остальных случаях используем EDFA преамп. Для дальности в 480Км, потребуются точки усиления примерно каждые 100Км.
Говоря о ревизиях модулей они делятся на два класса:
- со встроенным EDFA, имеющим уровень Tx 0дБм, при чувствительности (Rx) до -20 дБм, что позволяет пройти до 80 Км
- Без встроенного EDFA, имеющими Tx -10дБм, при Rx до -20дБм, что позволяет пройти до 40 Км
Что стоит помнить при построении сети передачи данных на базе DCO модулей. Если вы используете коммутатор, то необходимо, чтобы он поддерживал стандарт OpenZR иначе вы не сможете задавать номер канала(в сетке ITU). Модули DCO потребляют более 20Вт, так что коммутатор должен уметь выдавать столько. При этом часть коммутаторов поддерживают >20Вт, на порт, но модули можно ставить только через один порт или вообще один на группу портов. Какой именно режим поддерживает ваш коммутатор стоит уточнить у вендора, так как в документации на коммутатор это редко пишут в явном виде.
Модули DCO поставляют такие компании как СНР, Huawei, Juniper и другие
3.3.2 Передача с использованием транспондеров/мукспондеров
Этот вариант в целом не отличается от варианта для 100G, описанном в пункте 3.2.2. Разница в основном в том, что есть две версии транспондеров. Для МЕТРО решений, когда передавать нужно только Ethernet трафик вариант на QSFP-DD или OSFP модулях. Для магистральных линий или сетей OTN версия с CFP2 модулями. На текущий момент мукспондеры для низкоскоростных каналов есть только для 400Гб/с, например FB-4000M от компании Фиброникс. Особой популярностью сейчас пользуются варианты для DCI решений на базе 1U транспондера на 8 или 12 QSFP-DD модулей. Например PL-4000G. Транспондер имеет 12 линейных портов QSFP-DD, в который можно установить модули ZR или ZR+ и 12 клиентских портов QSFP-DD, которые позволяют получить 400Гб или 4х100Гб при использовании модулей DR4/FR4 и «гидры» (кабель MPO/UPC - 8xLC)
Транспондер позволяет передать до 12 400Гб каналов, при этом начать можно с одного и по мере необходимости добавлять каналы частями. Для большей части вендоров 400Гб мукспондеры имеют клиентские порты 100 или 400Гб. Так что для получения 10-25Гб потребуется ставить дополнительный мукспондер 100Гб, который имеет порты 10/16/25Гб или FC16/32. Решения на транспондерах доступны от таких вендоров как Т8, «ВПГ Лазеруан», СНР(только 400G), фиброникс, Huawei, Juniper и д.р.