Память ChatGPT и Claude: Раскрыты различия

Разработчик Мантан Гупта провел реверс-инжиниринг систем памяти ChatGPT и Claude, используя обычные диалоги с моделями, и обнаружил значительные различия в их подходах. Обе компании отказались от традиционного RAG с векторными базами данных в пользу более простых и эффективных решений.

Память ChatGPT организована в шесть слоев: системные инструкции, метаданные сессии (устройство, браузер, паттерны использования), долгосрочные факты о пользователе (33 факта в исследовании), краткое содержание 15 последних чатов, текущее окно сессии и последнее сообщение. Удивительно, но ChatGPT не ищет информацию в истории разговоров, а создает лишь короткие дайджесты предыдущих бесед. Это позволяет ему быстро реагировать, но жертвует детализацией – он помнит ваши недавние интересы, но не может вспомнить нюансы старых диалогов.

Claude использует системный промпт, список ключевых фактов о пользователе в формате XML, текущее окно сессии и два инструмента: conversation_search (поиск по ключевым словам) и recent_chats (выборка по времени). Важно, что эти инструменты не вызываются автоматически. Claude самостоятельно определяет, когда требуется контекст из прошлого, и только тогда обращается к истории. Такой подход экономит токены, но требует от модели точно оценивать необходимость старого контекста.

Гупта заметил, что Claude был более открыт в предоставлении информации о своей внутренней структуре, в то время как ChatGPT требовал более настойчивых запросов. Автор подчеркивает, что его выводы основаны на экспериментах в диалоге, а не на официальной документации OpenAI и Anthropic, поэтому к ним следует относиться с осторожностью. Тем не менее, исследование демонстрирует принципиальную разницу в подходах: ChatGPT отдает приоритет скорости, жертвуя глубиной, а Claude теоретически способен вспомнить все, но его эффективность зависит от способности модели к анализу.

В общем, пока мы пытаемся заставить эти модели работать, они, кажется, сами решают, что нам показывать. И кто знает, может быть, в следующий раз они просто скажут: "Извините, я забыл, о чем мы говорили".