GPU NVIDIA A100 с тензорными ядрами обеспечивает беспрецедентное ускорение на всех уровнях, поддерживая непревзойденное ускорение для нагрузок ИИ, аналитики данных и высокопроизводительных вычислений (HPC).
A100 на базе архитектуры NVIDIA Ampere — это ядро платформы NVIDIA для дата-центров. A100 обеспечивает до 20 раз более высокую производительность по сравнению с предыдущим поколением. Каждый GPU A100 можно разделить на семь инстансов для быстрой адаптации к постоянно меняющимся запросам. A100 с 80 ГБ предлагает самую быструю пропускную способность памяти в мире (более 2 ТБ/с), что позволяет работать с самыми большими моделями и наборами данных.
GPU NVIDIA A100 выпускается в двух модификациях:
- NVIDIA A100 для HGX
- NVIDIA A100 для PCIe
Сегодня у нас в руках версия GPU NVIDIA A100 PCIe 80GB.
Краткая спецификация NVIDIA A100 80GB PCIe
- Product SKU
P1001 SKU 230
NVPN: 699-21001-0230-xxx - Total board power
300 W default
300 W maximum
150 W minimum - Thermal solution: Passive
- Mechanical Form Factor: Full-height, full-length (FHFL) 10.5”, dual-slot
- GPU SKU: GA100-893FF, GA100-893FFF, GA100-893HH, GA100-893HHH
- PCI Express interface: PCI Express 4.0 ×16
- Power connectors and headers: One CPU 8-pin auxiliary power connector
NVLINK
Для поддержки NVLINK необходима установка карт попарно рядом.
- Всего NVLink bridges поддерживает NVIDIA A100 80G: 3
- Всего NVLINK Rx и Tx линий поддерживается: 96
- Передача данных NVIDIA A100 80GB по линии NVLink (в каждом направлении): 50 Gbps
- Максимальная пропускная способность NVLink bandwidth: 600 ГБ/с
В качестве мостов используются 2-slot NVLink Bridge для NVIDIA A100 80GB PCIe part number: 900-53651-0000-000. На каждую пару ускорителей требуется три моста.
Питание GPU
Расположение разъёма питания:
Характеристики NVIDIA A100 80GB PCIe
- FP64: 9.7 TFLOPS
- FP64 Tensor Core: 19.5 TFLOPS
- FP32: 9.5 TFLOPS
- Tensor Float 32 (TF32): 156 TFLOPS | 312 TFLOPS*
- BFLOAT16 Tensor Core: 312 TFLOPS | 624 TFLOPS*
- FP16 Tensor Core: 312 TFLOPS | 624 TFLOPS*
- INT8 Tensor Core: 624 TOPS | 1248 TOPS*
- GPU Memory: 80GB HBM2e
- GPU Memory Bandwidth: 1,935 GB/s
- Max Thermal Design Power (TDP): 300W
- Multi-Instance GPU: Up to 7 MIGs @ 10GB
- Form Factor: PCIe Dual-slot air-cooled or single-slot liquid-cooled
- Interconnect: NVIDIA NVLink Bridge
для 2 GPUs: 600 GB/s
PCIe Gen4: 64 GB/s - Server Options: Partner and NVIDIA-Certified Systems™ with 1-8 GPUs
* - с учетом разреженности.
Разреженность, или наличие множества нулевых значений в наборе данных или модели, может значительно повысить производительность и эффективность вычислений. В контексте GPU NVIDIA A100 с ядрами Tensor использование разреженности позволяет добиться еще большего ускорения рабочих нагрузок ИИ. A100 разработан с учетом использования разреженных матриц, что позволяет ему обеспечивать более высокую пропускную способность и лучшее использование ресурсов. Это означает, что при работе с разреженными данными A100 может достигать значительных улучшений в скорости и эффективности, что делает его идеальным выбором для приложений, связанных с крупномасштабными нейронными сетями и сложной аналитикой данных.
Ссылки
https://www.nvidia.com/en-eu/data-center/a100/
Фотографии и внешний вид
Имеем парочку видеокарт.
A100 поставляются в безвентиляторном виде с пассивным охлаждением.
Радиатор карты двунаправленный и поддерживает два возможных направления воздушного потока.
Хотя обычно компановка сервера подразумевает выход воздушного потока со стороны планки.
Видим три разъёма для NV-Link.
Для наглядности сниму заглушки.
Карта поставляется в защитной плёнке.
На забудьте отклеить плёнку с торцов карты.
И с обеих сторон.
Плёнка отклеивается легко, для удобства на плёнке имеются места, за которые можно ухватить пальцами.
Карта готова к установке.
Источник:
Если вам понравилась статья, то ставьте 👍🏻 каналу.
Пишите комментарии, задавайте вопросы, подписывайтесь.