Триллион параметров на CPU: реально ли запустить тяжелый AI на «обычных» процессорах? 🤔
Новые LLM включают до триллиона параметров. Кажется, что без фермы из H200 к ним не подступиться, особенно если данные нельзя отдавать в публичные облака.
Но что, если ваша задача — не обслуживать миллион пользователей, а провести локальные тесты или развернуть решение для узкого круга внутри своей сети?
💰 Более бюджетный способ — запуск LLM на CPU. Так, сервер с двумя CPU может стоить ~150 000 ₽/мес, а аналогичный с GPU — уже более 700 000 ₽. В Академии Selectel читайте подробнее о том, как запустить ИИ-модели на доступном железе и какие инструменты для этого использовать.
Нужны ресурсы для запуска моделей, обучения AI-моделей или рендеринга изображений? Арендуйте облачные серверы под задачи вашего проекта в Selectel ➡️
