Нейросеть ChatGPT работает на десятках тысяч графических процессоров Nvidia A100

Согласно сообщению Bloomberg, OpenAI обучал нейросеть ChatGPT на суперкомпьютере Microsoft, построенном из десятков тысяч графических процессоров Nvidia A100. На этой неделе Microsoft анонсировала новый массив, использующий более новые графические процессоры Nvidia H100. Всё началось в 2019 году после того, как Microsoft инвестировала 1 миллиард долларов в OpenAI, согласившись создать для стартапа суперкомпьютер с искусственным интеллектом. Однако у Microsoft не было оборудования, необходимого для OpenAI. После приобретения чипов Nvidia Microsoft пришлось переосмыслить, как она расположила такое огромное количество графических процессоров, чтобы предотвратить перегрев и перебои в подаче электроэнергии. Компания не сообщает точно, сколько стоило это предприятие, но исполнительный вице-президент Скотт Гатри назвал цифру выше нескольких сотен миллионов долларов. Одновременная работа всех чипов A100 заставила Microsoft задуматься о том, как она разместила их и их блоки питания. Компании также пришлось разработать новое программное обеспечение для повышения эффективности, обеспечить, чтобы сетевое оборудование могло выдерживать большие объемы данных, спроектировать новые кабельные лотки, которые можно было бы производить самостоятельно, и использовать несколько методов охлаждения. После первоначального успеха ChatGPT Microsoft и некоторые ее конкуренты начали работу над параллельными моделями ИИ для поисковых систем и других приложений. Чтобы ускорить генеративный ИИ, компания представила виртуальную машину ND H100 v5, которая может использовать от восьми до тысяч графических процессоров Nvidia H100. H100 подключаются через NVSwitch и NVLink 4.0 с пропускной способностью 3,6 ТБ/с. Каждый графический процессор может похвастаться пропускной способностью 400 Гбит/с через соединения Nvidia Quantum-2 CX7 InfiniBand и 64 Гбит/с PCIe5. Каждая виртуальная машина передаёт 3,2 Тбит/с через неблокирующую разветвленную сеть. Новая система Microsoft также оснащена процессорами Intel Xeon 4-го поколения и 16-канальной оперативной памятью DDR5 с частотой 4800 МГц. Microsoft планирует использовать виртуальную машину ND H100 v5 для своей новой поисковой системы Bing на базе искусственного интеллекта, веб-браузера Edge и Microsoft Dynamics 365. Виртуальная машина уже доступна для предварительного просмотра и станет стандартной частью Azure.