Приветствую всех в Дзене. Те кто не знаком с первой частью, то рекомендую ознакомиться. Существует множество областей, где нейронные сети справляются гораздо лучше и быстрее, чем человек. Наиболее распространенные из них: финансы, экономика, производство, медицина, военная промышленность и авиация, энергетика, научные исследования, информационные технологии и т. д. Но есть области, в которых НС справляются хуже. Например, распознавание фото, рукописного текста, цифр, также распознавание речи и множество других областей...

Из всех функций активации, сложнее всего понять, каким образом ReLU добавляет нелинейность в нейронную сеть. Как такая простая функция, помогает нейронной сети чему-то научиться. Путаница вполне очевидна, учитывая кажущуюся линейную форму, называть ее нелинейной функцией активации, как минимум странно. Возникает очевидный вопрос: «Как ReLU позволяет нейронной сети улавливать нелинейность?» Рассмотрим математическое выражение ReLU: Приведенное выше уравнение можно переписать с параметром h следующим образом: По сути, это та же функция ReLU, но со смещением...