На Reddit кто-то сравнил новый Apple M3 Ultra с 512 гигабайтами памяти и старичка (карту) RTX 3090 для ИИ. См. картинку - кликабельная. Зачем? Как минимум поймете есть ли смысл запускать такие ИИ локально...
Но как уже не раз писал - мы больше в эти игры не играем. Сейчас делаем до 100к запросов в сутки к ИИ и вполне себе облака устраивают. А еще погуглите про openRoute - есть бесплатные тарифы (до 1000 запросов в сутки, если пополните на 10$).