По поводу вайб-кодинга, читаю тут историю человека... Мой свободный перевод ниже и это выглядит как будущее программирования.
Пользователь в сабе r/LocalLLaMA поделился, как он за ночь скачал модель Deepseek-R1-0528 и сразу запустил её в работу. Без всяких сложных агентов, просто один промпт, и модель выдала 1 613 строк кода для системы управления складом. Это 14 029 токенов, и всё за один запрос...
Скорость обработки: 114.48 мс/токен на этапе промпта (8.73 токена/с) и 204.06 мс/токен на генерации (4.90 токена/с). Работает на старом dual Xeon X99 с 256 ГБ DDR4 и несколькими GPU (3090).
Модель Q3_K_XL, оптимизированная unsloth, показала себя отлично, но загрузка 200 ГБ заняла почти сутки.
Народ в комментах в восторге, но жалуется на железо: кто-то на 16 ГБ VRAM и 128 ГБ RAM тянет только 0.73 токена/с... В целом, модель хвалят за мощь, особенно для программирования.
Вдумайтесь - простая система управления складом по одному промпту на обычном ПК. Чудеса.
