Найти в Дзене
4 подписчика

Какая языковая модель может заменить специалиста? Просто поболтать - достаточно и 8 миллиардов параметров. По получить результат в разработке, понятный и с соблюдением инструкций - от Qween от 27B с любым квантованием. Можно хоть с трехбитным. При этом, желателен контекст хотя бы в 60000 токенов, лучше около 80000. Сама модель с трехбитным квантованием занимает 11 гигов видюхи. Вместе с контекстом займет гигов 15, с учетом резерва под системные нужды, видюхи в 24 гига видеопамяти вполне хватит для замены специалиста. Причем, правильно задав промпт, вы можете заменить любого новичка. То есть, если все запускать локально, купить имитацию рассуждений любого специалиста можно примерно за 200 000 рублей.

Около минуты