Введение. Уравнение Беллмана предлагает метод решения стохастических оптимальных задач управления, подобно Марковскому процессу принятия решений. Марковский процесс принятия решений (МППР) представляет собой дискретный процесс стохастического контроля времени. На каждом этапе процесс находится в том или ином штате, и лицо, принимающее решения, может выбрать действие в этом штате. Вероятность перехода процесса в новое состояние зависит от выбранного агентом действия, характеризующегося переходной функцией "государства"...

В технике, экономике и некоторых других направлениях иногда приходится решать задачи на поиск оптимального пути или состояния. По сути это цель любой автоматизации - минимизировать затраты или получить наилучший результат. Это понятие ввёл в 40-ых годах прошлого века Ричард Беллман. Идея достаточно простая - для того чтобы получить конечный результат, необходимо предварительно решить несколько вспомогательных задач. Решить каждую из которых можно решив их предварительные задачи. Саму постановку...