Поскольку чат-боты масштабируются до миллионов пользователей, Microsoft делает ставку на то, что эффективность вывода теперь имеет большее значение, чем необработанная мощность обучения.
Microsoft представила Maia 200, свой внутренний чип искусственного интеллекта второго поколения, поскольку конкуренция усиливается вокруг стоимости запуска больших моделей.
В отличие от предыдущих чипах, которые были сосредоточены на обучении, новый чип нацелен на вывод, непрерывный процесс обслуживания ответов ИИ пользователям.
По мере того, как чат-боты масштабируются до миллионов пользователей, модели должны работать без остановки. Microsoft утверждает, что Maia 200 предназначена для этой смены.
Maia 200 основан на Maia 100, которую Microsoft запустила в 2023 году. Новая версия обеспечивает серьезный скачок производительности. Microsoft заявляет, что чип упаковывает более 100 миллиардов транзисторов и производит более 10 петафлопов вычислений с 4-битной точностью. При 8-битной точности он достигает примерно 5 петафлопов.
Maia 200 также служит стратегической цели. Сообщается, что крупные облачные провайдеры хотят уменьшить свою зависимость от NVIDIA, чьи графические процессоры доминируют в инфраструктуре искусственного интеллекта. Хотя NVIDIA по-прежнему лидирует по производительности, ее аппаратный и программный стек формирует цены и доступность во всей отрасли.
Google уже предлагает свои процессоры через свое облако. Amazon Web Services продвигает свои чипы Trainium и Inferentia. Microsoft теперь присоединяется к этой группе с Maia.
Компания сделала прямые сравнения. Microsoft утверждает, что Maia 200 обеспечивает в три раза производительность FP4, чем чипы Trainium третьего поколения от Amazon.
А так же заявляют более высокую производительность FP8, чем новейший TPU от Google.
Как и будущие процессоры Vera Rubin от NVIDIA, Maia 200 производится компанией Taiwan Semiconductor Manufacturing Co с использованием 3-нанометровой технологии.
Microsoft объединила запуск чипа с новыми инструментами для разработчиков. Компания стремится сократить разрыв, который уже давно благоприятствует программному обеспечению NVIDIA.
Одним из ключевых инструментов является Triton, фреймворк с открытым исходным кодом, который помогает разработчикам писать эффективный код ИИ. OpenAI внес большой вклад в проект.
Microsoft позиционирует Triton как альтернативу CUDA, доминирующей платформе программирования NVIDIA.
Maia 200 уже работает в собственных сервисах искусственного интеллекта Microsoft.
Похоже все компании схлестнулись в схватке за ИИ...