Архивный материал.
Сравни промпты для получения отчета по статистическим данным производительности СУБД и инфраструктуры.
prompt-1.txt - Инструкция и промпт №1
INSTRUCTION_v10.2.md - Инструкция для промпта №2
prompt-2.txt - Промпт №2
Сформулируй причины влияние варианта INSTRUCTION_v10.2.md и prompt-2.txt на качество и полноту полученных отчетов.
1. Общее различие подходов
prompt-1.txt — развёрнутая инструкция, содержащая все требования к анализу: структуру отчёта, правила работы с метриками, методологию (скользящая медиана, ВКО, CPI), запрет на рекомендации, явные указания по проверке согласованности и т.д.
→ Агент получает полный, самодостаточный контекст для выполнения задачи.
INSTRUCTION_v10.2.md + prompt-2.txt — разделение:
- INSTRUCTION_v10.2.md — мета-инструкция, определяющая как агент должен мыслить (эпистемические протоколы, персоны, чек-листы, режимы). Она не содержит предметных требований к анализу производительности СУБД.
- prompt-2.txt — краткий запрос (всего несколько строк): «Сформируй сводный отчёт по производительности СУБД и инфраструктуры. Используй только списки. Без рекомендаций. Состав: [перечень разделов]».
→ Агент должен применить универсальную инструкцию к очень сжатому техническому заданию.
2. Положительное влияние INSTRUCTION_v10.2.md на качество (при условии корректного применения)
Строгая эпистемическая дисциплина
- Требование Strict Grounding: 🟢 только при наличии источника.
- CoVe (Chain-of-Verification) заставляет перепроверять выводы.
- Calibrated Uncertainty запрещает ложную уверенность («очевидно», «конечно»).
→ Отчёт становится менее склонным к галлюцинациям и более прозрачным в части достоверности каждого утверждения.
Явная обработка конфликтов и пробелов
- Протокол Частичного Знания (3.4) требует перечислять, что неизвестно.
- Конфликт источников (3.3) не позволяет тихо выбирать одну версию.
→ Отчёт честно указывает на нехватку данных и не делает вид, что всё известно.
Консистентность через чек-листы и Pre-Mortem
- Для аналитических задач (High-Stakes) применяются Multi-Hypothesis, Self-Consistency, Contrastive Check.
- Pre-Mortem (3.11) заставляет думать «где отчёт может быть неверен».
→ Снижается риск внутренних противоречий и необнаруженных ошибок интерпретации.
Управление контекстом
- При длинном чате (анализ нескольких файлов) Сверка контекста (3.14) предотвращает дрейф.
→ Отчёт остаётся привязан к исходным данным, не подменяя их «усреднёнными знаниями» модели.
3. Отрицательное влияние (или риски) из-за комбинации INSTRUCTION_v10.2.md + prompt-2.txt
Отсутствие предметных правил анализа производительности СУБД
prompt-2.txt не содержит:
- определения «операционная скорость» (SPEED) и методики её расчёта;
- требований к граничным значениям (min/median/max);
- критериев для ALARM (например, hit ratio <70%, свободная RAM <5%);
- указаний проверять корреляции на математическую зависимость (например, IPC как часть WAITINGS).
Агент, следуя только общей инструкции, не знает, какие именно метрики считать критическими и как их интерпретировать в контексте PostgreSQL.
→ Резкое снижение полноты и релевантности отчёта по сравнению с prompt-1.txt.
Перегрузка мета-протоколами при отсутствии предметного ТЗ
- Агент тратит усилия на применение CoVe, Pre-Mortem, Self-Consistency к неполной задаче.
- Например, Pre-Mortem для отчёта: «Где отчёт может провалиться?» — без чётких критериев качества ответ будет абстрактным.
→ Качество страдает не от отсутствия протоколов, а от отсутствия предметных критериев оценки.
Риск ложной уверенности из-за «профессионального тона» персоны
- Если выбрана Персона B или A, агент может формулировать выводы уверенно, даже если базовая информация отсутствует.
- Anti-Sycophancy (3.16) работает только при давлении пользователя, но не при отсутствии данных в исходном промпте.
→ Агент может выдать красивый, структурированный, но пустой или поверхностный отчёт с 🟡/🔴, который по форме соответствует инструкции, но по сути не отвечает на вопросы.
Потеря специфических требований из prompt-1.txt
В prompt-1.txt были явные указания:
- «Если одна метрика математически является частью другой — не делай вывод о критичности без анализа».
- «Сопоставляй настройки с фактической нагрузкой».
- «Явно указывай границы применимости данных».
В prompt-2.txt их нет, а INSTRUCTION_v10.2.md — общая.
→ Агент не будет автоматически проверять, что IPC = 100% от WAITINGS — это тривиальное следствие, а не новая информация.
→ Ухудшается глубина аналитики (появляются «ложные открытия»).
4. Итоговое сравнение влияния на качество и полноту отчёта (список по аспектам)
Полнота разделов
- prompt-1.txt: ✅ Гарантирована (явно перечислены)
- INSTRUCTION_v10.2.md + prompt-2.txt: ⚠️ Зависит от того, насколько агент «догадается» о структуре. Промпт-2 перечисляет разделы, но без пояснений, что в них включать.
Точность интерпретации метрик (hit ratio, ВКО, CPI)
- prompt-1.txt: ✅ Задана явно
- INSTRUCTION_v10.2.md + prompt-2.txt: ❌ Отсутствует — агент не знает, что такое ВКО или как считать CPI.
Эпистемическая честность (светофоры, источники)
- prompt-1.txt: ❌ Не требуется (но может быть добавлена)
- INSTRUCTION_v10.2.md + prompt-2.txt: ✅ Строгое требование. Отчёт будет маркировать статусы 🟢🟡🔴.
Обработка нехватки данных
- prompt-1.txt: ✅ Прямо сказано: «Если недостаточно — укажи, каких данных не хватает»
- INSTRUCTION_v10.2.md + prompt-2.txt: ✅ Через протокол Частичного Знания (3.4) — тоже будет.
Проверка на ложные корреляции
- prompt-1.txt: ✅ Явное правило: «не делай выводов о причинности только по корреляции»
- INSTRUCTION_v10.2.md + prompt-2.txt: ❌ Нет такого предметного правила. Агент может выдать корреляцию как причину.
Приоритизация проблем (Парето, ВКО)
- prompt-1.txt: ✅ Задана методика
- INSTRUCTION_v10.2.md + prompt-2.txt: ❌ Нет методики — агент может расставить приоритеты произвольно.
Анализ IO (iostat vs vmstat)
- prompt-1.txt: ✅ Подробные подразделы с конкретными проверками
- INSTRUCTION_v10.2.md + prompt-2.txt: ❌ Только общие названия разделов — без указания, какие именно корреляции анализировать.
Устойчивость к дрейфу контекста
- prompt-1.txt: ❌ Не регламентирована
- INSTRUCTION_v10.2.md + prompt-2.txt: ✅ Есть протокол сверки (3.14) — полезно при длинных сессиях.
Риск «красивого, но пустого» отчёта
- prompt-1.txt: Низкий (инструкция требует конкретики)
- INSTRUCTION_v10.2.md + prompt-2.txt: Высокий (общая дисциплина без предметной области порождает формально корректные, но неглубокие ответы)
5. Конкретные причины, почему INSTRUCTION_v10.2.md + prompt-2.txt снижают качество и полноту в данном сценарии
1. Отсутствие доменной модели PostgreSQL
Инструкция v10.2 не содержит знаний о:
- shared_buffers, effective_cache_size, work_mem;
- типах ожиданий (IPC, IO, LWLock);
- нормальных значениях hit ratio;
- метриках iostat (%util, aqu_sz, await).
- Агент вынужден полагаться на свою внутреннюю память (🟡), но без чётких критериев, что именно извлекать.
2. Краткий промпт-2 не задаёт уровень детализации
В prompt-1.txt указано: «граничные значения (min/median/max)», «анализ трендов с R² и углом наклона», «индекс приоритета корреляции».
В prompt-2.txt только заголовки разделов.
→ Агент может решить, что достаточно одного предложения в разделе — и формально это будет соответствовать заданию.
3. Отсутствие запрета на «общие фразы без подтверждения цифрами»
В prompt-1.txt это явное правило. В v10.2 такого нет — есть только требования к источникам, но нет требования приводить цифры из данных.
→ Отчёт может содержать качественные оценки («высокая нагрузка», «сильная корреляция») без указания конкретных коэффициентов.
4. Нет требования анализировать тренды, а не точечные значения
v10.2 не содержит указания на временной анализ. Агент может выдать средние значения за период, упустив динамику (например, рост ожиданий быстрее скорости).
→ Потеря важного вывода, который был в prompt-1.txt.
5. Пересечение с мета-инструкцией создаёт шум
Агент тратит «мысленные ресурсы» на выбор персоны, применение CoVe, Pre-Mortem, проверку 7 грехов (неприменимых к анализу), что не увеличивает качество предметного отчёта, а только увеличивает латентность и риск отвлечения.
6. Вывод
INSTRUCTION_v10.2.md — мощный инструмент для обеспечения эпистемической честности и консистентности рассуждений агента.Однако в паре с prompt-2.txt (кратким, не содержащим предметных требований) он не способен восполнить отсутствие доменно-специфичных правил анализа производительности СУБД.
Качество и полнота отчёта в этом варианте определяются не инструкцией v10.2, а тем, насколько хорошо внутренние знания модели PostgreSQL совпадают с ожиданиями аналитика. Это приводит к непредсказуемым результатам: от поверхностного, но честно маркированного 🟡 отчёта до глубокого, но случайно угаданного.
Для гарантированного качества необходимо:
- либо дополнить prompt-2.txt предметными правилами (как в prompt-1.txt);
- либо использовать INSTRUCTION_v10.2.md как надстройку над полным техническим заданием, а не как его замену.