На проходящей сейчас конференции Build 2020 компания Microsoft объявила о создании суперкомпьютера на базе Azure, производительность которого, как заявлено, достаточна для того, чтобы попасть в пятёрку лидеров рейтинга TOP-500. Новая машина была развёрнута в Microsoft Azure эксклюзивно для проекта OpenAI, о сотрудничестве с которым было объявлено в прошлом году.
Суперкомпьютер ориентирован на обучение сверхтяжёлых ИИ-моделей следующего поколения.
В частности, корпорация имеет собственное семейство таких моделей, Microsoft Turing models, куда входит и самая крупная из существующих сейчас языковая модель Turing Natural Language Generation (T-NLG), включающая 17 млрд параметров. Обучение такой модели — процесс весьма затратный.
В сообщении компания не приводит точную конфигурацию нового суперкомпьютера, говоря лишь о том, что у него имеется более 285 тыс. ядер CPU, 10 тыс. GPU и 400Gb-интерконнект. В Microsoft Azure есть несколько вариантов HPC-инстансов. Например, в основе NDv2 лежат машины, несущие 8 ускорителей NVIDIA Tesla V100, которые можно объединять в кластеры. Заказчикам доступны кластера из 100 таких машин, объединённых InfiniBand. Есть в Azure и другие ускорители — инстансы NDv3 используют системы с восемью картами Graphcore C2.
Напомним, что на прошлой неделе NVIDIA вместе с анонсом ускорителей A100 на базе архитектуры Amper сообщила, что её собственный ИИ-суперкомпьютер SATURN V пополнился четырьмя системами Superpod, каждая из которых состоит из 140 машин DGX A100. Суммарная производительность в ИИ-задачах достигает фантастических 5 экзафлопс. Впрочем, на «классических» FP64-вычислениях обновление платформы даёт 93 Пфлопс в пике. Этого тоже хватит, чтобы попасть в Топ-5 нынешнего списка TOP-500. Кроме того, SATURN V на самом деле не является единой системы — он разбит на кластеры, находящиеся в четырёх разных местах.