Добавить в корзинуПозвонить
Найти в Дзене
Человек 2.0

ЦОД переезжает на устройство

Perplexity представила Personal Computer — гибридный оркестратор инференса, который в реальном времени решает, какую часть задачи обработать локально, а какую отправить в облако. Потребление токенов растёт быстрее, чем строятся дата-центры. Perplexity пишет про путь к 100-кратному росту спроса, который уже упирается в железо, энергию и стоимость инференса. Дата-центры остаются для тяжёлых задач. Рутину забирают роутеры, малые модели и локальные рантаймы прямо на устройствах. Оркестратор стоит между пользователем и ИИ-стеком: выбирает модель, место исполнения, цену запроса и маршрут контекста. Кто держит эту точку, держит агентный стек, даже если внутри работают чужие модели. Поэтому туда уже смотрят Google, Notion, Anthropic, Sakana и все, кто строит полноценную среду исполнения вокруг ИИ. Гибридный инференс становится новой контрольной точкой ИИ-архитектуры. Когда-то и корпорация П перестанет жечь ваши деньги и задумается об оптимизации своих опусов. ⠀ Источник: perplexity.ai Кейсы и

Perplexity представила Personal Computer — гибридный оркестратор инференса, который в реальном времени решает, какую часть задачи обработать локально, а какую отправить в облако.

Потребление токенов растёт быстрее, чем строятся дата-центры. Perplexity пишет про путь к 100-кратному росту спроса, который уже упирается в железо, энергию и стоимость инференса.

Дата-центры остаются для тяжёлых задач. Рутину забирают роутеры, малые модели и локальные рантаймы прямо на устройствах.

Оркестратор стоит между пользователем и ИИ-стеком: выбирает модель, место исполнения, цену запроса и маршрут контекста. Кто держит эту точку, держит агентный стек, даже если внутри работают чужие модели.

Поэтому туда уже смотрят Google, Notion, Anthropic, Sakana и все, кто строит полноценную среду исполнения вокруг ИИ. Гибридный инференс становится новой контрольной точкой ИИ-архитектуры.

Когда-то и корпорация П перестанет жечь ваши деньги и задумается об оптимизации своих опусов.

Источник: perplexity.ai

Кейсы и инструменты: @human20

Среда ИИ: human20.app

-2