Colibrì proof-of-concept запускает передовую AI-модель на 25 ГБ ОЗУ и скромном CPU. Узнайте о проекте, его ограничениях, производительности и перспективах для домашнего использования. Запуск LLM и агентов в домашних лабораторных установках набирает популярность из-за растущей стоимости подписок на AI-ботов и опасений по поводу конфиденциальности данных. К сожалению, стойка Nvidia NVL72 слегка выходит за финансовые пределы большинства людей, поэтому энтузиастам приходится довольствоваться моделями, которые могут работать в ограниченном объеме памяти...