Уместить большую языковую модель в домашнюю видеокарту — половина дела. Главное, чтобы после этого она продолжала решать задачи. В эксперименте Quesma с Qwen3.8 27B четырёхбитная версия размером 17 ГБ показала практически те же результаты, что и исходная на 55 ГБ. А при сжатии примерно до одного бита качество ответов на сложные научные вопросы обвалилось до уровня случайного угадывания. Это интереснее очередного соревнования размеров файлов. Перед нами попытка найти границу, за которой экономия памяти начинает разрушать полезные способности модели...

Каждую осень у меня происходит примерно одно и то же. На кухне появляются пакеты с перцами, помидорами, луком, морковью, чесноком, а потом начинается тот самый сезон, когда банки постепенно заполняют полки...