Proximal Policy Optimization (PPO) широко применяют в обучении с подкреплением с проверяемыми вознаграждениями, когда нейросеть учат рассуждать, а правильность ответа можно проверить автоматически. Авторы работы отмечают: при редких вознаграждениях, которые выдаются только по итогу всей цепочки, обычные критики (модели, оценивающие ценность состояния) плохо отслеживают, как ценность меняется по ходу траектории. Эта динамика, по их словам, как раз показывает относительный вклад отдельных токенов....