Исследования внутреннего устройства больших языковых моделей обычно ищут функции в параметрах, головах внимания или отдельных нейронах, но эти части не объясняют, как разворачивается один конкретный вывод. Авторы препринта на arXiv предлагают другой объект: упорядоченную траекторию состояний слоёв внутри одного прохода модели. Они проверяют, задаёт ли порядок слоёв измеримое вычисление. Главный результат: на репрезентативных чекпойнтах Qwen, Llama и Gemma реальный порядок слоёв давал пути, которые...