Дифференциальное исчисление было изобретено независимо Исааком Ньютоном и Готфридом Лейбницем. Очевидным образом операцию дифференцирования можно применить один раз или несколько, но целое число раз. В письме 1695 года Гийом Лопиталь (французский математик) спросил Лейбница о возможности нецелого числа n в функции дифференцирования, например, n = 1/2. Лейбниц ответил, что «это приведет к парадоксу, из которого однажды будут получены полезные последствия». Лейбниц был прав, но пройдет несколько столетий пока не станет ясно насколько...

Дойдя до этой темы, я не нашёл чёткого, простого и понятного объяснения. Так я решил написать эту статью. Постарался написать простым понятным языком. Техники дифференцирования матриц активно применяются в машинном обучении и оптимизации, поэтому важно понимать как это делать. Это сильно упрощает жизнь при вычислениях, например, если мы хотим продифференцировать некоторую функцию которая состоит из матриц и векторов, не опытный пользователь начнёт расписывать через суммы и, исходя из условий, пытаться дифференцировать по нужной переменной...