В прошлом посте мы разбирались, что такое токены = строительные блоки текста. Сегодня поговорим о том, сколько таких блоков модель может «удержать в голове» одновременно
🛒Контекстное окно - размер корзинки, в которую котик складывает запросы и ответы, и этот размер измеряется в токенах
• У GPT-4: до 128К токенов
• У Claude 2.1: до 200К токенов
• У ChatGPT-5: до ~400К токенов (272К на запросы + 128К на ответы). Это как если кот пришёл в магазин и смог утащить несколько полок с продуктами
Когда вы отправляете модель запрос, она «читает» не только ваш последний промпт, но и весь предыдущий диалог в пределах контекстного окна.
⚠️Если лимит превышен, модель забывает начало: именно потому она иногда теряет нить рассуждений.
Вот три совета, как улучшить работу с нейросетью:
1. Не дублируйте одни и те же данные
2. Разбивайте запросы на этапы, если задача сложная
3. Сохраняйте краткий контекст вручную: «напоминаю, мы анализируем рынок игрушек для котов»
4. Не держите один чат слишком длинным. В среднем ≈ до 15-20 сообщений (или 20-30 тыс. токенов). Для критичных задач лучше обнулять чат уже после 8-12 сообщений 🗑
P.S. В следующем посте котик Эффикс разберёт, как именно текст превращается в токены. Познакомимся с токенизатором 👋
#catgpt #поясняемнакотиках