NIZAMOV.SCHOOL

Qwen 3.8 27B локально на двух RTX 5070 Ti: пять конфигураций vLLM, максимальный контекст 262 144 токена и подключение модели к Claude Code. Тестирую не облако и не серверные H100, а сборку, которую реально собрать дома: Ryzen 5 3600, две RTX 5070 Ti по PCIe 4.0 x8 и RTX 3090. Смотреть на Youtube youtu.be/...suc Rutube rutube.ru/...011 VK vkvideo.ru/...332 Полный разбор темы в статье: nizamov.school/...zen

Голосовой агент, который живёт на вашем железе, а не в чужом облаке В четверг 20 августа в 18:00 МСК проведу бесплатный вебинар и покажу такого агента вживую. Записаться: nizamov.school/...zen Голосом удобно всем, поэтому голосовые помощники давно есть у каждого крупного облака. Проблема одна: и то, что вы сказали, и то, что агент достал в ответ, уходит на чужие серверы. С рабочими данными так нельзя, и на этом идея обычно умирает. Собрать голосового агента целиком у себя уже реально. Разберём его по слоям: - Распознавание речи локальное, ваш голос не покидает контур - Модель локальная, на своём железе, без подписок и лимитов на запросы - Синтез речи тоже свой, агент отвечает вслух - Агент не просто болтает, у него есть инструменты. У нашего это доступ к данным базы 1С через MCP - Отдельно про паузу: что делать с секундами, пока агент думает, чтобы разговор не рассыпался

ИИ сломает твою конфигурацию 1С, если не поставить ему рамки Вайбкодинг в 1С на боевом проекте: показываю, как кодовый агент дорабатывает тиражное расширение 1С на 35 000 строк с двумя версиями конфигурации. Новая категория Авито со справочниками, формами и проверкой XML добавлена за 22 минуты, без правки кода руками. Главная мысль вебинара простая: вайбкодинг в 1С вслепую не работает. Сам по себе Claude Code или Codex на боевом проекте ломает больше, чем пишет. Работает обвязка вокруг агента: MCP-серверы, скиллы, скрипты-валидаторы и жёсткие правила в CLAUDE.md. С такой обвязкой даже слабая модель выдаёт корректный код, а сильная перестаёт молча портить продукт. Разбираю схему целиком: три собственных MCP-сервера (документация Авито, инструменты разработчика внутри 1С, dev-MCP по API и метаданным с векторным и графовым поиском), 80 скиллов, 16 скриптов под проект, разделение контуров мастер-базы и тестовой базы, автоматическая раскатка изменений во все остальные конфигурации через GitLab. После просмотра приходите на мой курс по ИИ для 1С где я буду пошагово объяснять как внедрить такую систему у себя, а по промокоду harness35 вы получите дополнительную скидку 35тыс, действует до 20.08.2026 23:59. Посмотреть можете на любой удобной площадке Rutube ВКонтакте Youtube

Доработка тиражного решения 1С в Claude Code: разбор на реальном продукте ⠀ Короче по голосованию решили, что будем делать вебинар по разработке на claude code. По голосовым агентам тогда проведем на следующей неделе. ⠀ Регистрация как всегда на моем сайте ⠀ Записи будут там же

Qwen 3.6 на двух RTX 5070 Ti: как получить 300 токенов в секунду локально ⠀ Нужен быстрый инференс для голосового агента, но серверное железо не по карману? Я проверил запуск новых моделей Qwen 3.6 (27B и MoE 35B) в квантовании NVFP4 на связке из двух потребительских видеокарт. ⠀ Спойлер: обе модели летают, но есть нюанс с памятью. «Лёгкая» 27B оказалась тяжелее MoE-версии, а скорость генерации превысила ожидания даже при строгом JSON-выводе. ⠀ Что удалось замерить: - SGLang выиграл в скорости: до 309 ток/с у модели 35B-A3B против 135 у vLLM. Время до первого токена (TTFT) упало до 0.17 сек. - vLLM лучше для параллелизма: при 10 одновременных запросах пропускная способность достигла 875 ток/с, что критично для нагрузок. - Кэш префикса решает: SGLang дал ускорение в 8.6 раз при повторных запросах, срабатывая уже с 667 токенов совпадения. - NVFP4 — это микс: веса квантованы в 4 бита, активации остались в bfloat16. Железо без нативной поддержки FP4 использует ядра Marlin, поэтому флаг --quantization может вести себя неочевидно. ⠀ В статье я разобрал каждую команду запуска для vLLM 0.26 и SGLang 0.5.16, показал, почему 27B ест больше VRAM, чем 35B, и описал грабли, на которых потерял время. ⠀ P. S. А вы применяете эти модели в своей работе, или предпочитаете облако? ⠀ Полный разбор: Qwen 3.6 27B и 35B-A3B в NVFP4: запуск на двух RTX 5070 Ti через vLLM и SGLang ⠀ Читать в Telegram⠀ Читать в MAX