Несколько дней активной работы с Qwen 3.8 — и я понял, что эта модель заслуживает нескольких роликов. Выкладываю первый, посвященный именно запуску этой модели. Показываю ВСЕ варианты запуска на трёх физических серверах: 2×RTX 2080 (22 ГБ), 2×RTX 3090 и RTX 4090 (48 ГБ). GGUF через llama.cpp (Q4_K_M и Q8_0) и FP8 через vLLM. Замеряем скорость чтения и генерации, объём влезающего контекста и реальные цены на видеокарты — чтобы вы могли принять взвешенное решение, что покупать, а что нет. Спойлер: 2×3090 оказались круче, чем одна 4090 на 48 ГБ...
Галера Морева
Локальные модели сделали новый шаг вперёд
Раньше про них можно было сказать: глупые и медленные. Сейчас — просто медленные. И в этом разница. Когда модель была глупой, скорость была последним, о чём стоило думать. А теперь локальные модели закрывают всё больше задач, которые раньше считались прерогативой облака, и единственный ощутимый минус — скорость. Я всё больше работаю с агентами асинхронно: поставил задачу и забыл про неё. Агент может делать её три минуты, а может и пару часов. За это время он сделает объём, который я бы делал минимум пару дней. И в такой схеме уже неважно, решает модель задачу час или пять часов. Сейчас как раз тестирую Qwen 3...
Когнитивная нагрузка с приходом агентов
Кодить стало очень легко и просто. Агенты за час без багов и проблем могут сделать такой объем, который раньше я бы делал пару дней с кучей багов и нервов. Сейчас внутренние продукты пилятся со 100-кратной (без преувеличения) скоростью. И как же сильно от этого устает мозг, но устает по-новому. Раньше основная нагрузка была в написании кода: вникнуть в библиотеку, поправить стили, отловить опечатку, разобраться, почему в одном браузере все едет. Сейчас этого почти нет. Вместо этого постоянно нужно думать о том, что именно делать и зачем. Поставить задачу. Не "сделай красиво", а нормально сформулировать...
В декабре прошлого года на моем канале вышло совсем не IT-видео
Мы записали интервью с моей знакомой — Леной, которая победила онкологию. В интервью Лена говорила, что пишет книгу и обязательно поделится ею, когда закончит. Так вот этот момент настал :) Книгу можно приобрести в бумажном виде — вся информация есть здесь: https://t.me/pro_yav_Lena/369. И еще один важный момент. Если, не дай бог, у кого-то из вашего окружения обнаружили онкологию, то Лена бесплатно отправит электронную версию книги. Она хочет, чтобы эта история помогла тем, кому сейчас особенно тяжело. В современном...
Отдал Linux-сервера под управление ИИ-агента
У меня зоопарк разных серверов. Раньше я копировал команды из чата с агентом и вставлял руками в терминал. Потом подумал: а зачем? И отправил агента на сервер напрямую. Снял ролик, где показываю два способа сделать это: - простой — ставим pi прямо на сервер (для тестовых машин, которые не жалко); - правильный — агент живёт локально, а на сервер ходит по SSH через MCP...
