На мероприятии Google I/O генеральный директор компании Сундар Пичаи (Sundar Pichai) заявил, что кластер из 4096 модулей TPU v4, оборудованный системой жидкостного охлаждения, обладает производительностью порядка 1 Эфлопс. «Это самая быстрая система, которую мы когда-либо развертывали в Google, это историческая веха для нас», — сказал Пичаи.
Формально такой результат почти вдове превышает пиковую производительность системы Fugaku, возглавляющей список TOP500 самых производительных суперкомпьютеров мира. Однако TPU адаптированы для построения систем другого класса, поэтому такой результат был достигнут в вычислениях с меньшей точностью (вплоть до int8), которой для задач машинного обучения в ряде случаев вполне достаточно. Для сравнения — Fugaku в бенчмарке HPL-AI показывает результат в 2 Эфлопс.
Высокая производительность созданного кластера достигнута не только благодаря TPU v4, но и особой технологии интерконнекта, позволяющего объединить сотни отдельных вычислителей в единую систему TPU Pod. Благодаря этому пропускная способность на чип, по словам компании, вдесятеро выше, чем при использовании любой другой доступной сегодня сетевой технологии.
Потребность компании в решениях такого класса связана с развитием инструментов для обработки больших наборов данных и прогнозирования на их основе, для анализа естественного языка и улучшения работы с поисковыми запросами, для машинного перевода Google Translate, для улучшения возможностей сервиса Google Photos и других. Инстансы с TPU v4 также будут доступны клиентам Google Cloud в конце этого года.
TPU (Tensor Processor Unit) — это семейство собственных ускорителей Google для нейронных сетей, которые обеспечивают более высокую производительность на Ватт в сравнении с CPU и GPU. Впервые компания применила его в своих дата-центрах ещё в 2016 году. TPU v2 были выпущены в 2018-м, а через год появились и TPU v3 (на фото выше), которым уже потребовалось жидкостное охлаждение для сохранения плотности размещения. А возможности TPU v4 впервые были продемонстрированы в прошлом году.
