Найти в Дзене
21 подписчик

Градиент - как человек учится чувствовать.


Технически:
Градиент - это вектор, показывающий, куда нужно двигаться, чтобы уменьшить ошибку.
Машина не понимает, где истина. Она просто идет туда, где ошибка становится меньше.
Обучение - это бесконечная череда шагов: шаг, ошибка, корректировка весов.
Без градиента - сеть не способна изменяться. Она может помнить, но не учиться.

Гуманитарно:
Человек учится так же. Не просветлением, а прикосновением с собственной ошибке.
Он спотыкается, сомневается, страдает, пока боль не покажет направление.
Гордыня - это нулевая производная, когда мы считаем себя совершенными, градиент исчезает и рост прекращается.
Боль же - сигнал, что в нашем внутреннем пространстве еще есть путь вниз, туда, где прячется истина.

Смысл:
Учение - это движение по градиенту боли к равновесию, которое завтра снова окажется неустойчивым.
Мы корректируем себя так же, как нейросеть свои веса: по опыту, через ошибки, в поисках более точного соответствия миру.
Градиент - как человек учится чувствовать.  Технически: Градиент - это вектор, показывающий, куда нужно двигаться, чтобы уменьшить ошибку. Машина не понимает, где истина.
Около минуты