Помимо анонса большой языковой модели Gemini, в среду компания Google представила ряд других разработок в этом же сегменте. Был анонсирован наиболее мощный к настоящему моменту TPU (Tensor Processing Units), Cloud TPU v5p, гиперкомпьютер с ИИ от Google Cloud. Поскольку количество параметров ИИ растёт на порядок в течение года, для его работы требуется соответствующее аппаратное обеспечение.
Cloud TPU v5p представляет собой ускоритель ИИ, модели обучения и обслуживания. Он создан для крупных моделей с длительным периодом обучения, в основе которых лежат матричные вычисления без специальных операций в основном цикле обучения, как TensorFlow или JAX. В состав одного модуля TPU v5p входят 8960 чипов с соединениями с максимальной на данный момент пропускной способностью.
Cloud TPU v5p получает двукратный прирост производительности и в четыре раза улучшенную масштабируемость на модуль по сравнению с прошлым поколением. Большие языковые модели будут обучаться в 2,8 раза быстрее, а плотные модели могут встраиваться в 1,9 раз быстрее по сравнению с TPU v4.
В состав гиперкомпьютера входит интегрированная система с открытым ПО, оптимизированные аппаратные компоненты, платформа машинного обучения и гибкие модели потребления. Подобное сочетание должно увеличить производительность и эффективность по сравнению с их работой по отдельности. Здесь применяется сетевая технология Google Jupiter.
Разработчики получают открытое ПО с поддержкой фреймворков машинного обучения вроде JAX, PyTorch и TensorFlow. Гиперкомпьютер с ИИ предлагает две модели, такие как Flex Start Mode и Calendar Mode.
