Выпуск нового в оборудования, учет рыночных тенденций и внимательное отношение к потребностям пользователей помогают нам разрабатывать новые продукты для более эффективного решения задач корпоративных клиентов. На смену устаревшей серии GTX10 и дефицитной RTX30 пришли наследницы серии Quadro — GPU A4000 и А5000. Именно за счет серверов с новыми видеокартами мы расширили свой серверный парк и предлагаем вам оценить производительность и экономичность нового решения.
Все новые GPU NVIDIA создаются на базе текущей архитектуры Ampere.
Ampere использует 8-нм техпроцесс от Samsung и поддерживает высокоскоростную память GDDR6, HBM2 и GDDR6X. Память GDDR6X является шестым поколением памяти DDR SDRAM и может достигать скорости до 21 Гбит/с. В А5000 и А4000 Nvidia использует ядра RT 2-го поколения и тензорные ядра 3-го поколения, позволяющие обеспечить двукратный прирост производительности по сравнению со старыми ядрами Turing. GPU карты используют стандарт PCIe Gen 4, что позволяет убрать узкие места при обмене данными с GPU.
В Ampere используется новая версия CUDA 8+. На чипе теперь есть два потоковых мультипроцессора FP32, что обеспечивает рост производительности FP32 по сравнению с картами на базе Turing. Старшие GPU A5000 и выше поддерживают NVLink 3.0 для объединения карт парами - это приводит к кратному увеличению производительности.
Видеокарты NVIDIA RTX A4000 и RTX A5000 были анонсированы в апреле 2021 года.
Технические характеристики видеокарт NVIDIA RTX A4000 и RTX A5000, RTX 3090, Quadro RTX 4000
Quadro RTX 4000GTX 1080 tiNVIDIA RTX A4000NVIDIA RTX A5000RTX 3090АрхитектураTuringPascalAmpereAmpereAmpereТехпроцесс12 nm FinFET16 нм FinFET8 нм8 нм8 нмГрафический процессорTU104GP102GA102GA104GA102Количество транзисторов11,800 млн13,600 млн17,400 млн28,300 млн28,300 млнПропускная способность памяти416.0 Гб/с484 Гб/с448 GB/s768 GB/s936.2 Гб/сРазрядность шины видеопамяти256 бит352 бит256 бит384 бит384 битПамять GPU8 Гб GDDR611 ГБ GDDR5X16 ГБ GDDR624 ГБ GDDR624 ГБ GDDR6XПамять ECCнетнетдаданетЯдра CUDA230435846 144819210496Тензорные ядра288 192256328Ядра RT36 486482SP perf7.1 терафлопс 19,2 терафлопс27,8 терафлопс35,6 терафлопсRT Core performanceнетнет37,4 терафлопс54,2 терафлопс69,5 терафлопсTensor performance57.0 терафлопс 153,4 терафлопс222,2 терафлопс285 терафлопсМаксимальная мощность160 Вт250 Вт140 Вт230 Вт350 ВтИнтерфейсPCIe 3.0 x16PCI Express 3.0 x16PCI-E 4.0 x16PCI-E 4.0 x16PCIe 4.0 x16РазъемыДП 1.4 (3) ДП 1.4 (4)ДП 1.4 (4)ДП 1.4 (4)Форм-фактор1 слот2 слота1 слот2 слота2-3 слотаПрограммное обеспечение vGPUнетнетнетесть неограниченноесть с ограничениямиNvlinkнетнетнет2x RTX A5000естьПоддержка CUDA7.56.18.68.68.6Поддержка VULKANесть, 1.2.131есть, 1.2.131естьестьесть, 1.2Цена (руб.)115 000 66 000 125 000 190 000 215 000
На новых картах куда больше памяти, это позволяет эффективно работать с нейросетями и изображениями.
Другим существенным отличием RTX A4000 и RTX A5000 является аппаратное ускорение размытия движения, позволяющее значительно сократить время и затраты на при рендеринге.
В старших картах от RTX A5000 есть поддержка vGPU - NVIDIA RTX vWS что позволяет обеспечить совместное использование вычислительных ресурсов и виртуальных GPU несколькими пользователями.
В среднем новые видеокарты NVIDIA обгоняют по производительности старую линейку Quadro в 1,5-2 раза и потребляют меньше электричества.
Тестирование HOSTKEY
Мы провели собственное тестирование профессиональных видеокарт NVIDIA RTX A5000 и A4000 и сравнили их с RTX 3090 и Quadro RTX 4000 – представителем предыдущего поколения профессиональных видеокарт компании NVIDIA.
Описание тестовой среды:
- Процессор OctaCore Intel Xeon E-2288G, 3,5 GHz
- 32 GB DDR4-3200 ECC DDR4 SDRAM 1600 МГц
- Samsung SSD 980 PRO 1TB (1000 GB, PCI-E 4.0 x4)
- Серверная материнская плата Asus P11C-I Series (1 PCI-E x16, 1 M.2, 2 DDR4 DIMM, 2x Gigabit LAN + IPMI)
- Microsoft Windows 10 Professional 64-разрядная.
Tест V-Ray GPU RTX
Tест V-Ray GPU CUDA
Тесты V-Ray GPU CUDA и RTX позволяют измерить относительную производительность GPU при рендеринге. GPU RTX A4000 и RTX A5000 значительно превосходят по производительности Quadro RTX 4000 и GeForce GTX 1080 Ti (тест V-Ray GPU RTX на этой карте провести невозможно, т.к. она не поддерживает технологию RTX), но уступают RTX 3090, что объясняется высокой пропускной способностью памяти (936.2 Гб/с против 768.0 Гб/с у RTX A5000) и количеством потоковых процессоров (10496 против 8192 у RTX A5000).
«Собаки против кошек»
Для сравнения производительности GPU для нейросетей мы используем набор данных «Собаки против кошек» - тест анализирует содержимое фотографии и различает изображена на фото кошка или собака. Все необходимые исходные данные находятся здесь. Мы запускали этот тест на разных GPU и в различных облачных сервисах, получили следующие результаты:
Полный цикл обучения
Полный цикл обучения тесовой нейросети занял от 5 до 30 минут. Результат NVIDIA RTX A5000 и A4000 составил 07:30 и 9:10 минут соответственно. Быстрее единичных NVIDIA RTX A5000 и A4000 работал только GPU сервер с 8 картами GeForce RTX 2080Ti и потреблением электричества около 2 кВт/час . Видеокарты Tesla V100 прошлого поколения доступны в сервисах Google Cloud Compute Engine, Microsoft Azure и Amazon Web Services и показали наилучший результат из протестированных там карт.
Сколько стоит обучить нейросеть в разных местах?
На графике представлена стоимость обучения модели с использованием различных сервисов для следующих конфигураций:
- AWS - AWS p3.2xlarge
- Google Cloud - GCP Compute Engine
- Microsoft Azure - Tesla V100
- HOSTKEY - RTX А4000, RTX A5000
Мы пока предоставляем GPU сервера на помесячной оплате, но в ближайшее время все эти машины будут доступны и на почасовой оплате с полной автоматизацией их предоставления клиенту при заказе через API.
Заключение
Новые профессиональные видеокарты NVIDIA RTX A5000 и A4000 являются оптимальным решением для использования в GPU-серверах и позволяют выполнять сложные вычисления, производить быструю обработку больших массивов данных.
Переход на новую архитектуру Ampere позволил значительно увеличить производительность новых профессиональных видеокарт компании NVIDIA. Улучшенные тензорные ядра и ядра RT значительно улучшают качество и возможности трассировки лучей в реальном времени. Объем памяти в 16 Гб у NVIDIA RTX A4000 и 24 Гб у RTX A5000 позволяет обрабатывать большие массивы данных. Мостик NVLink для A5000 объединяет две карты в одну, что позволяет работать с 48Гб высокопроизводительной памяти.
Лицензия на драйверы NVIDIA для профессиональных GPU никак не ограничивает их использование в центрах обработки данных, в отличие от их игровых версий.
HOSTKEY рекомендует использовать современные выделенные и виртуальные GPU сервера для рендеринга сцен, транскодинга видео, обучения нейросетей и обработки данных уже обученными сетями. Если есть стабильный большой объем данных для обработки - аренда выделенных GPU серверов может на порядок повысить скорость обработки за те же деньги или сэкономить на инфраструктуре существенные финансовые ресурсы.
