Выбор функции активации в нейронной сети, используемой для моделирования или управления объектом, описываемым передаточной функцией, — это сложный вопрос, который не имеет прямого ответа, зависящего только от порядка полинома этой функции. Тем не менее, порядок полинома (а следовательно, и сложность динамики объекта) косвенно влияет на требования к нейронной сети, что, в свою очередь, может подсказать выбор функции активации.
1. Порядок полинома и сложность объекта
Порядок полинома передаточной функции \frac{Y(s)}{U(s)} = \frac{B(s)}{A(s)} определяется максимальной степенью n знаменателя A(s). Он соответствует порядку дифференциального уравнения, описывающего динамику объекта.
Низкий порядок (например, 1-й или 2-й) соответствует простым линейным системам (инерционное звено, колебательное звено), которые могут быть легко аппроксимированы относительно простыми функциями.
Высокий порядок означает более сложную динамику, потенциально с большим количеством резонансов, инерционных звеньев или неминимально-фазовых эффектов, что требует от нейронной сети большей нелинейной аппроксимационной способности.
2. Аппроксимационная способность и нелинейность
Нейронная сеть (особенно многослойный перцептрон) с нелинейными функциями активации способна аппроксимировать любую непрерывную функцию (теорема универсальной аппроксимации).
2.1. Высокий порядок: Требование к сложности модели
Если объект имеет высокий порядок (сложную динамику):
Нейросеть должна моделировать сложные нелинейные зависимости в фазовом пространстве.
Это требует функций активации, которые обеспечивают богатую нелинейность и эффективную передачу градиентов на большом количестве слоёв.
ReLU (Rectified Linear Unit) и её варианты (Leaky ReLU, ELU, GELU) часто предпочтительны из-за их способности смягчать проблему исчезающих градиентов, позволяя обучать глубокие сети. Это критично для моделирования высокопорядковых систем, поскольку глубокая сеть может потребоваться для захвата всех тонкостей динамики.
Классические сигмоидальные и гиперболические тангенсы \tanh могут привести к насыщению и исчезновению градиентов в глубоких слоях, что затруднит обучение сложной модели.
2.2. Низкий порядок: Гибкость в выборе
Если объект имеет низкий порядок (простая динамика):
Требования к нелинейности ниже.
Может быть достаточно функций, которые обеспечивают гладкую и ограниченную нелинейность, например, \tanh или сигмоидальная функция. Они хороши для нормализации выходов слоёв и могут быть полезны, если известны ограничения на выходы системы.
ReLU также отлично справляется, но преимущество в борьбе с исчезающими градиентами менее критично, если сеть неглубока.
3. Тип задачи и выходной слой
Выбор функции активации также сильно зависит от типа задачи и формы выходного сигнала, что важнее, чем порядок полинома:
Для моделирования передаточной функции объекта (регрессия): На выходном слое нейронной сети почти всегда используется линейная функция активации, чтобы обеспечить непрерывный, неограниченный выходной сигнал, необходимый для адекватного представления управляющего воздействия или отклика системы.
4. Резюме: косвенное влияние
Таким образом, порядок полинома передаточной функции является не прямым предписанием, а индикатором необходимой сложности нейронной сети, что, в свою очередь, диктует использование функций активации, оптимально поддерживающих обучение глубоких (сложных) моделей.