14 подписчиков

Локальная языковая модель на ваш компьютер! Суть в том, что большинство нейронок запускаются на серверах с тысячами гигабайтов VRAM и потянуть такую мощь ни один был ПК не способен.

Многофункциональную LLAMA 3 8B теперь можно запустить, не передавая свои данные на левый сервер. Для этого вам хватит даже ноута с GTX 1650 Ti и 4 GB VRAM. Сохраняем гайд:

• Заходим на сайт LM Studio тут;

• Качаем сетап под свою систему;

• В поиске вбиваем «QuantFactory/Meta-Llama-3-8B-Instruct-GGUF» и берём нужную версию тут;

• Заходим в окно нейронки и подгружаем QuantFactory — всё.

Теперь у вас на компе есть личная языковая модель.

Telegram: @Age_of_it

Локальная языковая модель на ваш компьютер! Суть в том, что большинство нейронок запускаются на серверах с тысячами гигабайтов VRAM и потянуть такую мощь ни один был ПК не способен.

Около минуты

19 мая 2024