146 подписчиков
С одним энтузиастом идеи «LLM у себя дома» мы еще в декабре обсуждали возможность использования нескольких компьютеров Mac mini M4 Pro для построения кластера, способного эту идея вытащить и не превратить дом в одну большую серверную. Но пока мы обсуждаем, некоторые вполне себе делают.
В частности, Алекс Кима из компании ExoLabs — они ставят своей целью демократизировать доступ к AI для простых смертных — показывает результаты своих экспериментов: восемь компьютеров Mac mini плюс три MacBook Pro позволили создать ему кластер общей емкостью памяти 896GB с пропускной способностью 3557GB/sec.
Стоимость комплекта немалая в абсолютных величинах, но при этом сильно меньше традиционных решений. С этой точки зрения поколебать позиции Mac mini может только Nvidia, которая в мае обещает выпустить свой домашний «суперкомпьютер» за 3 тысячи долларов.
Около минуты
22 января 2025