Вы наверняка сталкивались с этим. Долгий разговор с ChatGPT, всё идёт хорошо — и вдруг модель начинает противоречить тому, что говорила двадцать минут назад. Или просто перестаёт учитывать детали, которые вы указали в самом начале. Как будто кто-то незаметно стёр часть диалога.
Так и есть. Только стирает не кто-то — стирает сама архитектура.
Что такое контекстное окно
У каждой языковой модели есть контекстное окно — максимальный объём текста, который она держит в голове одновременно. Измеряется в токенах: примерно 100 токенов — это 75 слов на русском.
У ChatGPT это окно большое, но не бесконечное. Когда разговор вырастает за его пределы, старые сообщения просто выпадают. Модель не архивирует их, не сжимает — она буквально перестаёт их видеть. С её точки зрения, их никогда не было.
Это не баг. Это физическое ограничение того, как работают трансформеры — архитектура, на которой построены все современные большие языковые модели.
Почему это важно на практике
Проблема становится ощутимой в нескольких ситуациях.
Длинные технические задачи. Вы объясняете контекст проекта, уточняете детали, задаёте условия — и через час работы модель начинает предлагать решения, которые противоречат тому, что вы обсуждали в начале.
Редактура больших текстов. Загрузили документ, попросили пройтись по стилю — к концу модель уже не помнит, каким был тон в начале, и выдаёт что-то несогласованное.
Ролевые инструкции. Дали подробное описание персонажа или задачи в начале чата — через двадцать сообщений модель начинает съезжать обратно к дефолтному поведению.
Как с этим справляться
Несколько приёмов, которые реально помогают.
Держите системный промпт коротким и выносите его в начало каждого нового чата. Если вы работаете с одной задачей несколько сессий — не продолжайте старый диалог, открывайте новый и вставляйте ключевой контекст заново. Это быстрее, чем кажется.
Периодически напоминайте модели о ключевых условиях. Не нужно пересказывать весь диалог — достаточно одного абзаца: «Напомню контекст: мы делаем X, целевая аудитория Y, стиль Z». Это работает.
Используйте модели с большим контекстным окном, когда задача этого требует. Claude, Gemini 1.5 и некоторые версии GPT-4 держат в голове заметно больше текста, чем стандартные версии. Для работы с длинными документами разница ощутима.
Разбивайте большие задачи на маленькие сессии. Один чат — одна подзадача. Это звучит неудобно, но на практике даёт более предсказуемый результат, чем один бесконечный диалог.
А что насчёт памяти?
ChatGPT и некоторые другие модели сейчас добавляют функцию памяти — когда модель запоминает информацию между разными разговорами. Это немного другое: не расширение контекстного окна, а отдельное хранилище фактов о пользователе.
Работает, но с ограничениями. Модель сама решает, что запомнить, иногда запоминает не то. И это не решает проблему внутри одного длинного чата — там контекстное окно по-прежнему конечно.
Пока самый надёжный способ работать с ИИ на длинных задачах — структурировать диалог самому. Не ждать, что модель всё удержит. Помогать ей, давая нужное в нужный момент.