На мой взгляд самое простое с чего нужно начинать изучать нейросети — это аппроксимация таких простых математических функций, как синус, квадратичная функция, экспонента и т.д. Согласно универсальной теореме аппроксимации — нейронная сеть с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Главное чтобы в этой сети было достаточное количество нейронов. И еще важно удачно подобрать начальные значения весов нейронов. Чем удачнее будут подобраны веса, тем быстрее нейронная сеть будет сходиться к исходной функции...

Часто возникает задача аппроксимации различных зависимостей заданными функциями. Наиболее универсальным методом аппроксимации является метод наименьших квадратов (МНК). Постановка задачи Допустим, необходимо аппроксимировать методом наименьших квадратов полученную (см. рисунок) зависимость с периодом 2(Пи). Для нахождения решения недостаточно будет задать функцию синуса или косинуса (y = Asin(x) или y = Acos(x)), так как видно, что амплитуда зависимости несимметрична относительно оси абсцисс (ось Х)...