Nvidia утверждает, что T4s значительно быстрее, чем P4. Например, использование T4 позволяет в 34 раза быстрее определить язык, чем использование центрального процессора, и более чем в 3,5 раза быстрее, чем P4. Пиковая производительность для P4 составляет 260 TOPS для 4-битных целых операций и 65 TOPS для операций с плавающей запятой. T4 расположен на стандартной низкопрофильной 75-ваттной PCI-e-карте.
Стоит подчеркнуть, что самое главное во всей этой истории то, что Nvidia разработала эти чипы специально для вывода искусственного интеллекта.
«То, что делает Tesla T4 таким эффективным графическим процессором для вывода, — это новое тензорное ядро Тьюринга», — сказал Ян Бак, вице-президент Nvidia и генеральный менеджер центра обработки данных Tesla. «Генеральный директор Nvidia Дженсен Хуан уже говорил о ядре Tensor и о том, что это ядро может быть использовано для игр и рендеринга (отрисовки), а также для искусственного интеллекта. Но логический вывод — вот для чего оно действительно предназначено».
В целом, чип имеет 320 ядер Turing Tensor и 2 560 ядер CUDA. В дополнение к новому чипу Nvidia также запускает обновление своего программного обеспечения TensorRT для оптимизации моделей глубокого обучения. Эта новая версия также включает в себя сервер вывода TensorRT, полностью контейнерный микросервис для вывода центра обработки данных, которые легко подключаются к существующей инфраструктуре Kubernetes.