Место и перспектива трёх стран в мировой ИИ-гонке
Еще пару лет назад был смысл в применении разнообразных рейтингов для оценки положения стран в мировой ИИ-гонке (см. (1)). Теперь это уже не так. Практические успехи глубокого обучения (основное направление развития современных ИИ-систем) привели к тому, что на это направлении развития ИИ теперь приходятся 95%+ всех денег и талантов. А это значит, что как минимум на ближайшую декаду, лидеры глубокого обучения будут лидерами мировой ИИ-гонки.
А в глубоком обучении, - как в беге. Выигрывает тот, у кого лучше физическая подготовка. Конечно, есть и другие факторы (спортивный дух, настрой, воля к победе, техника …). Но без исключительно хорошей физической подготовки в гонке не выиграть.
Эквивалентом физической подготовки в современном глубоком обучении является вычислительная мощность компьютера, на котором обучаются модели со все большим числом параметров. В крупнейшей на сегодня языковой модели transformer от Microsoft число параметров составляет 530 млрд. Насколько круто возросли требования к вычислительной мощности для таких моделей видно из этого графика.
В результате вычислительная мощность стала главным показателем потенциала роста величины и сложности новых все более совершенных моделей глубокого обучения. И это относится как к бизнесу компаний БигТеха, так и к академическим исследовательским центрам, а также к каждой стране в целом.
Для оценки вычислительной мощности для такого рода задач обучения сверхбольших моделей создан специальный тест HPL-AI (2). Но по этому тесту пока что оценена производительность лишь 19 высокопроизводительных вычислительных комплексов мира. Поэтому для более широкого и полного сравнения самых высокопроизводительных систем для ИИ пока продолжают использовать показатель скорости вычислений с плавающей точкой (Flop/s), как это принято в рейтинге ТОР500 (3).
И по этой оценке карта мира ИИ выглядит так, как на открывающем пост рисунке .
Совокупная вычислительная мощность каждой из стран соответствует площади прямоугольников, в свою очередь разделенных на более мелкие прямоугольники, соответствующие вычислительной мощности отдельных высокопроизводительных систем.
- Россия обведена красным пунктиром (7 систем, самая мощная из них у Яндекса – 21,5 петафлопс (10^15 Flop/s)
- Китай обведен синим пунктиром (173 системы, самая мощная – 93 петафлопс – на 26% превышает производительность всех российских систем в ТОР500).
- США обведены желтым пунктиром (149 систем, самая мощная – 149 петафлопс –в 2 раза превышает производительность всех российских систем в ТОР500).
Таково сегодняшнее место России на карте мира ИИ.
А теперь о перспективе.
На этом рисунке вычислительная мощность трёх новых суперкомпьютерных систем соответствует площади трёх прямоугольников:
- Желтый – это Китай: 25 января с.г. SenseTime запустил Artificial Intelligence Data Centre (AIDC) нового поколения SenseCore; его вычислительная мощность 3740 петафлопс (в 51 раз превышает производительность всех российских систем в ТОР500)
- Синий – это США: к 2023 году Facebook (Meta) доведет вычислительную мощность своего AI supercomputer RSC до 4900 петафлопс (в 67 раз превышает производительность всех российских систем в ТОР500)
- Красный – это Россия: к 2026 планируется создать суперкомпьютер на разрабатываемых сейчас отечественных процессорах «Эльбрус-32С» производительностью в 100 петафлопс.
#ИИ #HPC #Россия #Китай #США
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях