Разбор в блоге alexwang.ai отвечает на вопрос, как большие языковые модели помнят столько информации и сколько могут хранить. Автор предлагает смотреть на линейные отображения, MLP и самовнимание как на разные виды памяти «ключ-значение» и из этой картины выводит эвристические оценки ёмкости каждого слоя. Это не точные результаты, а прикидки при упрощающих допущениях. Базовые понятия. Память хранит M воспоминаний; каждое воспоминание, пара из ключа (по нему ищут, сравнивая по сходству) и значения (его хотят получить)...