Появление концепции нейросети (1940-1960)
Сама концепция нейросети начала формироваться в 40-50-х годах прошлого века. Тогда исследователи пытались создать машину, которая могла бы имитировать функции человеческого мозга. В 1943-м году Уоррен Мак-Каллок и Уолтер Питтс предложили математическую модель нейрона. А уже в конце 50-х Фрэнк Розенблатт представил персептрон (или же перцептрон). Именно персептрон можно назвать первой практической реализацией нейросети.
Метод обратного распространения ошибки и нелинейные функции активации (1980-2000)
Несмотря на крутость персептрона, тогдашние исследования и вычислительные возможности не позволяли сильно развить идею нейросетей. В какой-то степени, от неё даже на время отказались. Уже ближе к концу 20-го века исследователи добились большого прогресса. Был разработан "Метод обратного распространения ошибки".
Третья революция нейросетей, которая происходит по сей день
В конце концов для обучения нейронных сетей начали применять ядерные методы (kernel methods) и вероятностные подходы (байесовские подходы).
В настоящее время нейросети используются во многих областях, включая распознавание образов, принятие решений, управление, кластеризацию, прогнозирование и аппроксимацию.