Первым зеттафлопным системам может понадобиться ядерная энергия

«В ближайшие 10 лет самые мощные в мире суперкомпьютеры будут не только моделировать ядерные реакции, но и запускать их. То есть, если мы не предпримем решительных шагов для повышения эффективности наших вычислительных архитектур», – заявила генеральный директор AMD Лиза Су во время своего выступления на Международной конференции по твердотельным схемам на этой неделе.Корень проблемы заключается в том, что таким компаниям, как AMD и Intel, удается примерно удваивать производительность своих центральных и графических процессоров каждые 2,4 года, а такие компании, как HPE, Atos и Lenovo, добиваются аналогичного прироста примерно каждые 1,2 года на системном уровне. Лиза Су сообщает, что энергоэффективность отстает.Ссылаясь на показатели производительности и эффективности, полученные от лучших суперкомпьютеров, AMD сообщает, что количество гигафлоп на ватт удваивается примерно каждые 2,2 года, что составляет примерно половину темпов роста систем.Если предположить, что эта тенденция останется неизменной, по оценкам AMD, мы получим суперкомпьютер зеттафлоп-класса примерно через 10 лет плюс-минус. Для справки: в прошлом году США запустили свой первый экзафлопсный суперкомпьютер, систему Frontier Национальной лаборатории Ок-Риджа. Суперкомпьютер, способный развивать производительность в зеттафлоп FP64, будет в 1000 раз мощнее.К чести AMD, ее оценка того, когда мы преодолеем барьер в зеттафлоп, по крайней мере, немного более консервативна, чем довольно гиперболические заявления Intel о том, что она преодолеет этот порог к 2027 году. Более того, генеральный директор AMD говорит, что такая машина не будет практичной, если вычислительные архитектуры не станут радикально более эффективными, причем в ближайшее время.По оценкам AMD, если дела пойдут по нынешнему сценарию, суперкомпьютеру зеттафлоп-класса потребуется где-то около 500 мегаватт мощности. «Наверное, это уже слишком», — признает Су. «Это в масштабе атомной электростанции».«Это снижение эффективности становится самой большой проблемой, которую нам предстоит решить как с технологической точки зрения, так и с точки зрения устойчивого развития», — сказала она. «Наша задача — выяснить, как в следующем десятилетии мы будем рассматривать эффективность вычислений как приоритет номер один».Коррекция курсаЧасть проблемы, с которой сталкиваются производители чипов, заключается в том, что средства, на которые они традиционно полагались для повышения эффективности поколений, становятся менее эффективными.Вторя генеральному директору Nvidia Дженсену Хуангу, Су признает, что закон Мура замедляется. «Становится намного, намного сложнее добиться производительности плотности, а также эффективности» от более мелких технологических процессов.«Когда мы переходим к продвинутым узлам, мы все еще видим улучшения, но эти улучшения происходят гораздо медленнее», — добавила она, имея в виду усилия по сокращению технологических процессов намного выше 5 нм или даже 3 нм.Но несмотря на то, что улучшения в технологических процессах замедляются, Су утверждает, что возможности все еще есть, и, возможно, неудивительно, что большинство из них сосредоточено вокруг мировоззрения AMD, ориентированного на чиплеты. За последние несколько лет несколько производителей чипов приняли эту философию. Помимо AMD, которая, возможно, популяризировала этот подход со своими чипами Epyc для центров обработки данных, а затем внедрила эту технологию в свои графические процессоры Instinct, производители микросхем, включая Intel, Apple и Amazon, теперь используют многопроцессорные архитектуры для устранения узких мест и ускорения рабочих нагрузок.Чиплеты, утверждает босс AMD, позволят производителям микросхем решить три проблемы, связанные с эффективностью вычислений: вычислительная мощность, энергия связи и энергия памяти.Модульные чиплеты или тайловые архитектуры имеют множество преимуществ. Например, они могут позволить производителям микросхем использовать оптимальную технологию обработки для каждого компонента. AMD использует одни из самых плотных технологических процессов TSMC для своих центральных и графических процессоров, но часто использует более крупные узлы для таких вещей, как ввод-вывод, которые масштабируются не так эффективно.Чиплеты также помогают уменьшить количество энергии, необходимой для обмена данными между компонентами, поскольку вычислительные ресурсы, память и ввод-вывод могут располагаться ближе друг к другу. А при вертикальном расположении, как AMD сделала с SRAM в своих Epycs серии X, а Intel сделала с HBM в своих графических процессорах Ponte Vecchio, выигрыш еще больше, утверждают производители чипов.AMD ожидает, что передовые методы упаковки 3D обеспечат в 50 раз более эффективную связь по сравнению с обычной памятью и вводом-выводом вне пакета.Несомненно, именно поэтому AMD, Intel и Nvidia начали интегрировать центральные, графические процессоры и ускорители искусственного интеллекта в свои микросхемы следующего поколения. Например, грядущий MI300 от AMD будет интегрировать свои процессорные ядра Zen 4 с графическими процессорами CDNA3 и большим количеством памяти HBM. Платформа Intel Falcon Shores пойдет по тому же пути. Между тем, суперчипы Grace Hopper от Nvidia, хотя и не интегрированы в той же степени, по-прежнему объединяют процессор Arm с 512 ГБ LPDDR5 с кристаллом графического процессора Hopper и 80 ГБ HBM.AMD не останавливается на центральных и графических процессорах или памяти. Компания поддержала консорциум Universal Chiplet Interconnect Express (UCIe), который пытается установить стандарты связи между чиплетами, чтобы чиплет от одного поставщика мог быть упакован вместе с чиплетом от другого.AMD также активно работает над интеграцией IP, полученного в результате приобретений Xilinx и Pensando, в новые продукты. Во время основного доклада Су она подчеркнула потенциал объединенных оптических сетей, многослойной памяти DRAM и даже вычислений в оперативной памяти как потенциальных возможностей для дальнейшего повышения эффективности энергопотребления.Не пора ли дать ИИ шанс на высокопроизводительные вычисления?Но хотя есть возможность улучшить архитектуру, Су также предполагает, что, возможно, пришло время пересмотреть подход к выполнению рабочих нагрузок высокопроизводительных вычислений, которые традиционно основывались на высокоточном вычислительном моделировании с использованием массивных наборов данных.Вместо этого генеральный директор AMD утверждает, что, возможно, пришло время более активно использовать ИИ и машинное обучение в высокопроизводительных вычислениях. И не она одна так думает. И Nvidia, и Intel продвигают преимущества вычислений с более низкой точностью, особенно для машинного обучения, где точность в несколько знаков после запятой может означать разницу между днями и часами для обучения.Nvidia, возможно, была самой вопиющей, заявляя, что системы способны на несколько «экзафлопсов ИИ». Что они удобно упускают или прячут мелким шрифтом, так это тот факт, что они говорят о производительности FP16, FP8 или Int8, а не о вычислениях FP64, обычно используемых в большинстве рабочих нагрузок HPC.«Просто взглянув на относительную производительность за последние 10 лет, насколько бы мы ни улучшились в традиционных показателях SpecInt Rate или флопах, флопы ИИ улучшились намного быстрее», — сказал глава AMD. «Они улучшались намного быстрее, потому что у нас были все эти возможности смешанной точности».Одним из первых применений ИИ/МО для высокопроизводительных вычислений может быть то, что Су называет суррогатными физическими моделями ИИ. Общий принцип заключается в том, что специалисты-практики используют традиционные высокопроизводительные вычисления гораздо более целенаправленно и используют машинное обучение, чтобы сузить поле деятельности и снизить требуемую вычислительную мощность в целом.Несколько лабораторий Министерства энергетики США уже изучают возможности использования ИИ/МО для улучшения всего: от климатических моделей и открытия лекарств до имитации испытаний и технического обслуживания ядерного оружия. «Еще рано. Здесь предстоит проделать большую работу над алгоритмами, а также над тем, как разделить проблемы», — сказала Су.