📰 Китайские учёные научили AI-агентов чинить себя сами — фреймворк Self-Harness поднял производительность до 60%
Давайте начистоту: не каждая компания способна или обязана собирать собственный «фронтирный» языковой модельер, достойный звания искусственного интеллекта. Но вот обуздать ту самую модель — ту систему, что ею рулит, — под свои задачи может и должен практически любой вменяемый бизнес. Звучит красиво, но, как водится, дьявол прячется в деталях. На словах всё просто — на деле приходится часами вылавливать баги вручную, методом тыка и, чего уж греха таить, опираясь на интуицию, а не на систему обратной связи.
С таким подходом угнаться за стремительно обновляющимися LLM практически невозможно. Китайские исследователи из Шанхайской лаборатории искусственного интеллекта решили подойти к вопросу радикально и предложили «Self-Harness» — новую парадигму, в которой агент на базе LLM сам, без человеческого участия, улучшает собственные правила работы. Модель анализирует собственные треки исполнения, выявляет слабые места и вносит правки, заменяя догадки инженеров реальными эмпирическими данными. Звучит как магия? Работает как инженерия.
Такая система самоулучшающихся «упряжек» (harness) позволяет командам разворачивать надёжные кастомные агенты, которые постоянно адаптируют свои протоколы выполнения, чтобы преодолеть конкретные недостатки конкретной модели.
Проблема инженерии упряжки: почему интуиция — зло
Производительность агента на LLM определяется не только его базовой моделью, но и тем, какой окружение его контролирует. Сама «упряжка» — это целый зоопарк компонентов: системные промпты, инструменты, память, правила верификации, политики рантайма, логика оркестрации и процедуры восстановления после сбоев. Звучит как куча мелких деталей, но именно здесь чаще всего и гибнут бедные агенты.
Скажем, агент может доложить об успехе, не потрудившись проверить, действительно ли модель выполнила задачу (например, запустил код, но не проверил тесты). Или же он зациклится, раз за разом повторяя одно и то же неудачное действие. Упряжка же отдувается за перегрузку контекста, когда история взаимодействия разрастается до неприличных размеров. Примеры популярных упряжек — SWE-agent, Claude Code, Codex и OpenHands.
Интуитивно кажется, что главный тормоз — человек: медленно думает, медленно правит. Ханфан Чжан, ведущий автор исследования Self-Harness, в беседе с VentureBeat отметил, что это не совсем так. «Во многих случаях опытный инженер с глубоким знанием предметной области всё ещё способен предложить лучшие изменения, чем LLM на текущий момент». Но проблема не в скорости человека, а в инструментарии. Ручная инженерия упряжки опирается на ad-hoc отладку, а не на систематический, проверяемый цикл обратной связи. «Глубокая проблема в том, что нынешняя парадигма часто лишена систематической обратной связи, — объясняет Чжан. — Многие правки вносятся на основе интуиции, пары подмеченных сбоев или той же ad-hoc отладки».
Сейчас новые модели выходят чуть ли не каждую неделю. Пытаться подкручивать под каждую из них свою упряжку вручную, целиком полагаясь на человеческую интуицию, — занятие непозволительно дорогое и всё менее реалистичное. Кто-то пытается использовать более сильные модели для улучшения упряжек более слабых агентов, но и такой подход не лишён проблем: более сильные модели могут быть дороги или недоступны, а их «понимание» сбоев целевой модели может быть неполным....
🔗 Полный текст статьи читайте у нас на сайте: Читать на TechLoot
📢 ТехноЛут
