Ускоритель NVIDIA A2 придёт на смену NVIDIA T4, который был представлен ещё в 2018 году. Оба относятся к моделям начального уровня и хорошо подходят для задач инференса, хотя могут использоваться и для обучения небольших моделей, транскодирования видео, аналитики, VDI, виртуальных рабочих станций и т.д.
NVIDIA A2 выполнена в виде однослотовой HHHL-карты с пассивным охлаждением и интерфейсом PCIe 4.0 x8 с Resizable Bar. Важным отличием от T4 стал более широкий диапазон настраиваемого уровня TDP — от 40 до 60 Вт. Ускоритель способен работать при температуре от 0 до +50 °C (кратковременно от -5 до +55 °C). Это позволяет использовать его на периферии, в том числе в не самых благоприятных условиях (NEBS-3).
Базовая частота GPU составляет 1140 МГц, а boost — 1771 МГц. Объём набортной памяти GDDR6 (128 бит, 6251 МГц) равен 16 Гбайт, а пропускная способность составляет 200 Гбайт/с (у T4 300 Гбайт/с). Также есть два движка для декодирования медиа (включая AV1) и один для кодирования. Новинка поддерживает CUDA 11.1, vGPU 14.0, SR-IOV (16 VF), NVIDIA AI Enterprise Secure Boot.
NVIDIA A2 использует тензорные (число не уточняется) и RT-ядра (10 шт.) Ampere. Производительность FP32-вычислений составляет всего 4,5 Тфлопс (у T4 было 8,1 Тфлопс). Для TF32 она равна уже 9 Тфлопс, а для FP16/BF16 — 18 Тфлопс. Для INT8 и INT4 эти показатели равны 36 и 72 Топс соответственно, а у T4 — 130 и 260 Топс.
Впрочем, NVIDIA предпочитает сравнивать производительность A2 с CPU. В первую очередь в задачах инференса, где преимущество может достигать 20 раз. Тем не менее, приводится и сравнение A2 с T4 в задачах умной видеоаналитики, где преимущество новинки составляет 20–30 %. При этом по соотношению цены и производительности она в 1,6 раз лучше T4 и на 10 % энергоэффективнее её.
