«Все впечатляющие достижения глубокого обучения сводятся к подгонке оптимизации». Жемчужина Иудеи Машинное обучение в его наиболее упрощенной форме иногда называют прославленной подгонкой оптимизации. В некотором смысле это правда. Модели машинного обучения обычно основаны на принципах конвергенции; подгонка данных к модели. Приведет ли этот подход к ОИИ, все еще остается спорным вопросом. Однако на данный момент наилучшим решением являются глубокие нейронные сети, и они используют методы оптимизации для достижения цели...

Вычисление градиента ошибки и обратного распространения ошибки играет крайне важную роль в машинном обучении. Без автоматического вычисления градиента нам бы пришлось вручную вычислять производные в порой крайне сложных функциях. Рассмотрим функцию simple_gradient из всё того же примера от pytorch. Для того, чтобы иметь возможность высчитывать автоматически градиент нашей функции, нам необходимо обернуть в переменный класс (Variable) нашу функцию и указать в ней, что этой функции требуется градиент (requires_grad)...