В этой статье расскажу об исследованиях, опубликованных в статье "Complex error minimization algorithm with adaptive change rate". Название по-русски звучало бы "Алгоритм минимизации комплексной ошибки с адаптивной скоростью изменения".
Проблема минимизации ошибок стала особенно актуальной с развитием приложений нейронных сетей, но вопрос настройки параметров математической модели был актуален, пожалуй, с возникновения математических моделей.
Математические модели строятся для исследования переходных процессов (например, финансовые рынки), периодических и хаотических колебаний (например, взаимодействие хищников и жертв в биологической популяции), волновых режимов (например, колебания в кристаллической решетке) и даже равновесных состояний (например, энергосети).
Модель реальной системы можно получить различными способами. Если известны базовые законы существования моделируемой системы, можно построить дедуктивную модель по этим известным законам. Даже при использовании законов (первых принципов) модель может получиться приближенной, поскольку часто приходиться ее упрощать для того, чтобы иметь возможность ее решить. В случае наличия только статистических данных о существовании модели можно построить индуктивную модель, которая может оказаться хорошей, а может и очень плохо отражать поведение реальной системы.
Алгебраические модели
В случае алгебраических моделей количественная зависимость между по меньшей мере двумя величинами в любой области знаний, выраженная в виде алгебраической функции.
Очень нагляной алгебраической моделью является Закон всемирного тяготения, открытый Ньютоном (правда, модель является алгебраической если только записать закон через силы и ускорение).
Персептрон (базовый элемент нейронной сети) изобретен Фрэнком Розенблаттом в 1958 году и представляют собой простейшую нейронную сеть, состоящую из n входов, только одного нейрона и одного выхода, где n — количество признаков набора данных. Искуственные нейронные сети являются алгебраическими моделями, т. е. очень простыми математическими моделями в этом смысле. Но их сложность заключается в размерах модели.
Итерационные модели
Итерационные модели являются эволюционными, т. е. выражают динамику одной или нескольких величин во времени.
К итерационным моделям, например, относится модель Хищник-жертва (логистическое отображение). Для исследования таких моделей целесообразно найти аналитически состояния равновесия и исследовать их тип устойчивости.
Итерационные модели лежат на пути от алгебраических к дифференциальным по сложности. При этом их часто получают из дифференциальных моделей с целью упрощения.
Дифференциальные модели
Наиболее сложными являются дифференциальные и интегро-дифференциальные модели. При этом от простого к сложному исследованиями рассматриваются следующие варианты: обыкновенные дифференциальные уравнения (ODE); дифференциальные уравнения с задержкой во времени (DDE); стохастические дифференциальные уравнения (SDE); уравнения в частных производных (PDE); комбинации перечисленных моделей и интегро-дифференциальные уравнения.
Настройка параметров моделей
Определение значений параметров моделей на основе экспериментальных данных является очень сложным вопросом по причине многомерности пространства параметров и вероятности попасть в локальный минимум ошибки при плавном поиске оптимального вектора параметров. Эта задача сложна при исследовании алгебраических моделей и гораздо более трудоемка при исследовании дифференциальных моделей. Ученые разрабатывают различные методы анализа данных и спопобы настройки таких моделей, которые постоянно продолжают совершенствоваться.
В статье "Complex error minimization algorithm with adaptive change rate" описан новый алгоритм оценки значений управляющих параметров моделей обыкновенных дифференциальных уравнений. Алгоритм минимизации комплексной ошибки с адаптивной скоростью изменения эффективно определяет параметры моделей ОДУ даже на очень коротких временных рядах. Для обнаружения застревания в нем производится расчет четырех разных ошибок одновременно. Эти ошибки ведут себя по-разному, поэтому при застревании в локальных минимумах минимизируется не все ошибки, некоторые наоборот возрастают. При достижении же глобального минимума минимизируются одновременно все из рассматриваемых ошибок. Метод был протестирован на моделях с регулярной и хаотической динамикой, тестирование метода продемонстрировало достаточно высокую точность.
p. s. Чтобы сразу увидеть новый материал в моем блоге в своей ленте, подписывайтесь! Буду рад комментариям, вопросам, предложениям.
