Найти в Дзене
НейросетёваЯ

Ты вроде всё написал — а ИИ выдал чушь. Почему?

Представь, что ты — врач. К тебе приходит человек и говорит:
«Я сплю по 12 часов, но всё равно чувствую себя уставшим». Вот здесь и начинается метафора: 👉 Симптом: сонливость.
Неправильная интерпретация: «Наверное, он просто ленивый» → назначим побольше кофе.
Правильная интерпретация: «А почему 12 часов сна не помогают? Что происходит в глубинных процессах сна?»
Может быть:
Апноэ?
Нарушен цикл глубокого сна?
Стресс?
Гормональные сбои? То есть: сам симптом (много спит, но устал) не говорит напрямую о причине. Если мы строим архитектуру лечения, не поняв глубинную причину — мы «лечим не то». Д-р Ольга переносит этот принцип в ИИ-дизайн и разработку. Если ИИ-система "не справляется с задачей", а мы просто добавляем "ещё больше параметров", "обучим ещё на 10 млн строк данных", "добавим prompt-реплики" — это как дать кофе человеку с апноэ. ❗️Мы усиливаем симптом, но не устраняем первопричину. Не путай симптом и причину.
И в психотерапии, и в инженерии, и в ИИ:
если ты лечишь/чинешь «по ве
Оглавление

Представь, что ты — врач. К тебе приходит человек и говорит:
«Я сплю по 12 часов, но всё равно чувствую себя уставшим».

Вот здесь и начинается метафора:

👉 Симптом: сонливость.
Неправильная интерпретация: «Наверное, он просто ленивый» → назначим побольше кофе.
Правильная интерпретация: «А почему 12 часов сна не помогают? Что происходит в глубинных процессах сна?»
Может быть:
Апноэ?
Нарушен цикл глубокого сна?
Стресс?
Гормональные сбои?

То есть: сам симптом (много спит, но устал) не говорит напрямую о причине. Если мы строим архитектуру лечения, не поняв глубинную причину — мы «лечим не то».

🤖 Как это связано с ИИ и инженерией?

Д-р Ольга переносит этот принцип в ИИ-дизайн и разработку.

Метафора:

Если ИИ-система "не справляется с задачей", а мы просто добавляем "ещё больше параметров", "обучим ещё на 10 млн строк данных", "добавим prompt-реплики" — это как дать кофе человеку с апноэ.

❗️Мы усиливаем симптом, но не устраняем первопричину.

📌 Главный вывод метафоры:

Не путай симптом и причину.
И в психотерапии, и в инженерии, и в ИИ:
если ты лечишь/чинешь «по верхам», не разобравшись с глубинной структурой —
ты создаёшь неэффективную систему.

💬 Пример 1: Модель «галлюцинирует»

🩺 Симптом: модель придумывает несуществующие факты, особенно при генерации длинного текста.

❌ Поверхностное решение:

«Давайте скормим ей больше правильных примеров»
(аналог: «раз он спит и устал — пусть спит ещё дольше»)

❗️Что не учтено:

  • У модели нет механизма проверки фактов (verification layer).
  • Контекстная память перегружается, и она теряет связность.
  • Инструкция (prompt) двусмысленная или недостаточно чёткая.

✅ Как исправить:

  • Встроить retrieval step (RAG) — пусть модель ищет информацию в базе знаний, а не «вспоминает» из параметров.
  • Добавить post-processing слой — например, проверка фактов по API или модели-оценщику.
  • Сделать промпт явным: «Не придумывай. Если не знаешь — скажи “не знаю”».

💬 Пример 2: Пользователь не понимает, что делать

🩺 Симптом: люди заходят на интерфейс, но не начинают пользоваться агентом.

❌ Поверхностное решение:

«Давайте добавим огромную инструкцию или подсказку»

❗️Что не учтено:

  • Проблема не в знании, а в интуитивности.
  • UX не соответствует ментальной модели пользователя (например, маркетолога).
  • Элемент, на который надо кликнуть, не воспринимается как активный.

✅ Как исправить:

  • Провести 2-3 наблюдения (user testing): куда кликают, где замирают.
  • Заменить «инструкцию» на визуальную подсказку (примеры запросов, placeholder: «Например: “Сделай лендинг под онлайн-курс”»).
  • Упростить до одной цели на экран (один ввод, одна кнопка).

💬 Пример 3: Агент «слишком медленный»

🩺 Симптом: кажется, что ИИ думает вечность

❌ Поверхностное решение:

«Давайте купим сервер подороже» или «используем GPT-4 вместо GPT-3.5»

❗️Что не учтено:

  • Агент делает много ненужных шагов (chain-of-thought, reasoning).
  • Запросы к API не оптимизированы: лишние retries, большой контекст.
  • Фронт ждёт весь ответ, а не показывает по частям (streaming).

✅ Как исправить:

  • Внедрить streaming output (например, через OpenAI’s SSE) → пусть пользователь видит текст по мере генерации.
  • Проверить промпт: не вызывает ли он ненужных размышлений?
  • Ввести «механизм прерывания» — если агент тратит слишком много токенов → остановить и спросить пользователя.

-2