Недавно стала доступна для локальной установки новая ИИ от Французов.Мне не хватает всего лишь 1.35 терабайта памяти для запуска модели в формате BF16 :) Ожидается, что с квантизацией IQ4 модель уместится в 512 гигабайт. Но если у вас есть 1 терабайт оперативки и 96 гигабайт видеопамяти, даже этого не хватает примерно на 230 гигабайт для запуска полной версии этой ИИ. А она хороша... С Русским норм. Короче - ну нафиг эти локальные ИИ, тем более память дорожает. Русский ИТ бизнес
Недавно стала доступна для локальной установки новая ИИ от Французов.Мне не хватает всего лишь 1.35 терабайта памяти для запуска модели в формате BF16 :) Ожидается, что с квантизацией IQ4 модель уместится в 512 гигабайт.
Но если у вас есть 1 терабайт оперативки и 96 гигабайт видеопамяти, даже этого не хватает примерно на 230 гигабайт для запуска полной версии этой ИИ. А она хороша... С Русским норм. Короче - ну нафиг эти локальные ИИ, тем более память дорожает.
