Галера Морева

Все чаще замечаю: люди перед тем как написать кому-то сообщение, идут к ИИ, чтобы он "красиво прочесал текст", расставил приоритеты, выделил жирным нужные места. И в итоге получается жидкий, непонятный текст, который тяжело воспринимается человеческим мозгом. Особенно ярко это видно в техподдержке нашего ИИ-провайдера. Иногда пользователь приходит и скидывает огромную простыню от агента, который якобы подготовил полезную информацию, чтобы разобраться с неисправностью. По факту там много воды и красивых оборотов, а полезных знаний — 2-3 фразы. То же самое и в другую сторону. Когда я вступаю в диалоги с клиентами, всегда пишу простыми фразами, без сложных оборотов...

? Сегодня тестируем NVIDIA DGX Spark — компактный и тихий компьютер с 128 ГБ оперативной памяти, предназначенный для запуска больших языковых моделей локально. Доступ к серверу мне предоставил подписчик, за что ему отдельное спасибо! Я решил проверить, насколько эта машина подходит для реальной работы с AI-агентами и разработки программного обеспечения. В рамках эксперимента запускаем две модели: DeepSeek V4.1 Flash 1017 — в двухбитном квантовании. Проверяем, насколько хорошо модель справляется с разработкой и работой с большим контекстом...

Сейчас выходит огромное количество опенсорсных моделей. Следом за релизом сообщество обычно выкатывает кастомные версии: снимает цензуру, срезает guardrails и делает свои кванты. На первый взгляд выглядит заманчиво. Получаешь сильную модель без корпоративного морализаторства, которая не отвечает "я языковая модель и не могу вам помочь", а делает ровно то, что просишь. Но есть момент, о котором часто забывают, особенно когда начинают использовать такие модели в агентских сценариях с вызовом инструментов. Веса модели — это черный ящик. Нельзя просто сделать код-ревью и понять, как сеть отреагирует на конкретный вход...