📢 Сегодня расскажем о нашем опыте подключения All-Flash NVME стореджа через сеть 40Гбит/с Ethernet. Для подключения на хостах и сторедже использовались двухпортовые карты Chelsio T580-LP-CR с поддержкой iWARP, коммутаторы Juniper QFX5100-24Q.
Карты за серверах завелись не без проблем, оказался есть незадокументированный нюанс с установкой на процессоры AMD, который подсказать смогла только техподдержка Chelsio (кстати, хочу отметить достаточно неплохая, они даже удаленно подключаются к хостам для решения проблем).
⚠️ После успешной установки драйверов, выяснилось что скорость копирования в сети у нас не превышает 950 Мбайт/с, что категорически не соответствует заявленной скорости.
После изучение теории в Интернете, стало понятно, что без задействования RDMA (технология прямого доступа к оперативной памяти) мы 40G не получим. После запуска iWARP (это реализация протокола для работы RDMI на картах Chelsio), скорости тут же возросли до теоретического предела в 40G:
- Тестер iPerf показывал 49 Гбит/с при включении режима многопоточности.
- Скорость копирования файла на диск стореджа, подключенный по iSCSI, составила почти 3,5 Гбайт/с.
- CristalDiskMark показал 5 Гбайт/с и 2,5 Гбайт/с на последовательно чтение и записи и 800 Мбайт/с / 500 Мбайт/с на произвольное чтение/запись при 8 потоках.
Задержки в сети также упали в 4,8 раза после включения RDMI.
Вывод — если есть необходимость выжать из сети 100% производительности на скоростях 10+ Гбит/с, например, для подключения iSCSI, SMB3 или иных аналогичных задач, обязательно нужно использовать карты с поддержкой RDMI (iWarp в картах Chelsio или RoCE в картах Mellanox). Также некоторые карты Intel поддерживают вышеперечисленные протоколы.
👉 Мы недавно написали статью о проектировании сложной ИТ-инфраструктуры в облаке на 1000 пользователей 1С.
#network #nvme #hosting #datacenter #juniper #internet #ethernet #upgrade #советы #хостинг
