Работу систем искусственного интеллекта окружает загадочная магия. Вместе с тем, углубившись в объяснение этого явления, обнаружится, что одно школьное знание, которое в тот период многим казалось весьма бессмысленным, используется повсеместно при разработке моделей.
Итак, в основе всей магии лежит операция дифференцирования или взятия производной. Так, в качестве ориентиров для модели устанавливаются функции потерь, представляющие собой математическое описание произвольных задач (например, функция предсказания стоимости товара не должна сильно отклоняться от реальной цены, что можно описать их разностью в квадрате). Далее модель решает задачу минимизации этой функции потери, а производная показывает, в какую сторону следует корректировать параметры, чтобы функция убывала.
Иногда модели оперируют с противоположными понятиями - функциями выигрышей и, соответственно, возникает задача их максимизации. При этом от одной к другой функции можно перейти умножением на "-1".
В силу частого применения операции дифференцирования разработаны алгоритмы оптимизации этого процесса. В одном из современных подходов строится граф операций, описывающий последовательно преобразования, переводящие одну функцию в другую. Затем для каждой трансформации вычисляется и запоминается производная текущего представления от предыдущего. На этом фоне производная по произвольному узлу складывается из уже подсчитанных значений по правилу дифференцирования вложенных функций:
Например, пусть имеются следующие операции:
При этом:
Тогда трансформации от W к loss можно описать в виде следующего графа:
А производную можно вычислить следующим образом: