Знакомая ситуация: вы неделю выстраивали историю с персонажем, он знал ваше имя, помнил, что у вас кот и что вы поссорились в прошлой сцене, — а потом вдруг спрашивает «а как тебя зовут?». Будто всё стёрли. Обидно особенно тогда, когда вы остаётесь в долгом сюжете, а не просто перекидываетесь репликами. Разберём, почему так происходит на самом деле, и что отличает сервис, где персонаж действительно помнит, от того, где он забывает. Языковая модель не помнит разговор так, как человек. У неё нет ощущения «мы знакомы неделю». На каждое ваше сообщение она получает кусок недавней переписки — это называется контекстное окно — и отвечает, опираясь только на него. Окно ограничено по объёму. Его измеряют в токенах — это примерно слоги и куски слов. Как только разговор становится длиннее, чем помещается в окно, самые старые сообщения буквально выпадают из поля зрения модели. Она не «решила забыть» — она их просто больше не видит. Отсюда и «а как тебя зовут»: имя осталось в начале диалога, которо
Как работает память вашего ИИ персонажа? Одни помнят все, другие - ничего
23 июня23 июн
53
2 мин