Chain Rule & Identity Function Trick

本文為筆者學習微積分，函數概念與Chain Rule 的時候，遇到的一些概念大坑。本文一一澄清一些個人看法，並分享 Chain Rule 廣義的樣子，以及對於遞迴系統該如何計算...等等看法。

[坑1 : 變數/值符號的認識]
一切從 $y = f(x)$ 開始，我們習慣把 Input 變數用"括號"刮起來，Output y 代表值，f 代表函數。或是可以想成這樣:    $$x \overset{f}{\longrightarrow} y$$
這種表示法概念上很嚴謹，但缺點是你必須要用三個符號 $x$，$y$，$f$

而在微分方程領域出現這種寫法 $y = y(x)$  (把 $f$ 換成 $y$) ，這種寫法就頗簡潔，Chain Rule 通常都是這類表示法。缺點是心裡要能確實明白在哪個場合 $y$ 到底是給定的"值"還是"函數"(註: 通常大多代表函數 $y$，值的話通常會這樣寫 $y(x_{0})$,$y_{0}$)

==============================================================
[Bonus] $y=y(x)$這種表示法還有一個好處，如果允許 $f$ 是一對多，那麼 $y(x)$ 就是 $y \text{ is depend on } x$ 的意思，如果你喜歡用集合論來表示可以先定義$f$ 的定義域/對應域
$$f : X \rightarrow Y$$
然後 $y(x)$ 可以寫成這樣 $y \in Y_{x}$，其中值域為 $$f(X):=\bigcup_{x \in X}Y_{x} \subseteq Y$$
==============================================================
[坑2 : Input 的變數到底是哪些]
這邊舉兩個例子提醒：
(Ex1) 代換法會重新改變函數的 Input
例如 : $y = f(x) = x+1$ , $z = g(y) = 2y$ 　可以代換一下，寫成 $z = g[f(x)] = 2(x+1)$
如果你用簡記你會發現　$y(x) , z(y) , z(y(x)) \equiv z(x)$ ，所以　$z$可視為 $y$ 的單變數函數，也可視為 $x$ 的單變數函數，這取決於你是否把方程組做串聯的處理 !! （註: 當然你可以把 $z(x)$ 寫成 $\hat{z}(x) = z(y(x))$ 來區分，唯一定義函數 $z$，但在實務應用上反而會太多符號！）
如果用簡記的 chain rule :
$$\frac{d z}{d x} =  \frac{d z}{d y} \cdot   \frac{d y}{d x}$$
但本質上是這樣，但會破壞學數學的美感 !!
$$\frac{d z(y(x))}{d x} =  \frac{d z(y)}{d y} \cdot   \frac{d y(x)}{d x}$$

(Ex2) 參數/變數只有一線之隔
例如 : $y =  y(x) = ax + b$，也可以寫成 $y = y(a,x,b)$ 就從單變數變成三變數函數了，差別就在於，你的 $a$ , $b$ 是否是已給定。你永遠可以有更廣闊的視野，讓所有變數都可以"動"的情況。而不因為它是 a,b，就永遠把它想成常數。這在線性迴歸，bifurcation，敏感度分析，擾動分析，機器學習，出發點應該都是這概念！
==========================================================
[Bonus] 　不過如果以嚴謹的寫法，例如：
$y = f(x) = ax+b ,  y = F(x,a,b)$，你會有意外的認識，你可以明顯區分 $f$ , $F$ 的差異
$f = a * [ 　] + b , F = [　] * [　] + [　]$。 對$f$ 來說你確實可以改變它（調整 $a$,$b$的參數），但還是逃離不出$F$ 就是定義的死"框架"，這概念就是 parametric family :)
==========================================================
[坑3: $d$，$\partial$ 的差別 ]
在初學微積分Chain Rule 的時候，一定會碰到就是傻傻分不清，$d$，$\partial$　的差別，事實上取決於你初始函數的定義是"單變數函數"還是"多變數函數"，單變數用 $d$ ，多變數用　$\partial$，以下舉個例子，應該就能迅速了解 !!
(Ex3)
$z = z(x,y) , y=y(t) , x=x(t)$ 經由代換可以想成單變數函數 $z = z(t)$
則
$$\frac{d}{dt} z\bigg(x(t),y(t)\bigg)= \frac{dz}{dt} = \left(\frac{\partial z}{\partial x}\right)\left(\frac{dx}{dt}\right) + \left(\frac{\partial z}{\partial y}\right)\left( \frac{dy}{dt}\right)$$

(Ex4)
$z = z(x,y) , y=y(u,w) , x=x(u,w)$ 經由代換可以想成雙變數函數 $z = z(u,w)$

$$\frac{\partial}{\partial u} z\bigg(x(u,w),y(u,w)\bigg) = \frac{\partial z}{\partial u} = \left(\frac{\partial z}{\partial x}\right)\left(\frac{\partial x}{\partial u}\right) + \left(\frac{\partial z}{\partial y}\right)\left( \frac{\partial y}{\partial u}\right)$$

由上可知，符號的用法會跟代換後是單變數還是多變數有關 :)

[Chain Rule 精簡公式(*)]
眼尖的你可能會發現如果考慮 Layer Network : $$p \in \prod^{n}_{k=0} N_k =  N_0 \times N_1 \times N_2 ... N_{n}$$ ，其中 $o \in N_{0}$ , $N_{n} := \{d \}$，元素 $p$ 可視為路徑，每個路徑 $p$ 的"邊"集可以寫成 $A_p$，今天給定起點 $o \in N_0$ , 終點 $d$，可以窮舉所有路徑 $$P_{[o \rightarrow d]} \subset \prod^{n}_{k=0} N_k$$
我們有 Chain Rule
$$\frac{\partial x_{d}}{\partial x_o} := \underbrace{\sum_{p \in P_{[o\rightarrow d]}}\left(\prod_{(i,j)\in A_p} \frac{\partial x_{j}}{\partial x_{i}}\right)}_{\text{generate all paths from $o$ to $d$}}$$
(註:如果 $|N_i| = 1$ 的時候，嚴謹的時候要部分寫成 $\frac{dx_j}{dx_i}$)
=========================================================
例如: 上面的 Ex4，有三層網路
$N_1 \times N_2 \times N_3$ 可以想成 $\{u,w\} \times \{x,y\} \times \{z\}$
$P_{[u\rightarrow z]} = \{ (u,x,z) , (u,y,z)  \}$
$A_{p=(u,x,z) } = \{ (u,x) , (x,z)\}$ , $A_{p=(u,y,z)} = \{ (u,y),(y,z) \}$

所以就得到了 ~
$$\frac{\partial z}{\partial u} = \overbrace{\left(\frac{\partial z}{\partial x}\right)\left(\frac{\partial x}{\partial u}\right)}^{\text{path 1}} + \overbrace{\left(\frac{\partial z}{\partial y}\right)\left( \frac{\partial y}{\partial u}\right)}^{\text{path 2}}$$
==========================================================
[坑4: 直接影響/間接影響的差別 ]
這應該是 Chain Rule 裡面最容易混淆的概念，我們從一個例子下手
(Ex5)  給定 $y = y(x,t) , x = x(t)$ ，也就是 $t$ 同時存在直接影響 $y$與間接影響 $y$(透過$x$)，經由代換後 $y$ 可視為 $t$ 的函數
則如果經由以上窮舉路徑的想法 $P_{[t\rightarrow y]} = \{(t,x,y) , (t,y)\}$，(*)也會是對的
$$\frac{dy}{dt} = \frac{\partial y}{\partial x} \frac{dx}{dt} +  \frac{\partial y}{\partial t}$$
但會有一個缺點 ...  你很容易把  $\frac{dy}{dt}$  跟 $\frac{\partial y}{\partial t}$ 給完全混淆
要記得本質上是
$$\frac{d  y(x(t),t)) }{dt} = \frac{\partial y(x,t)}{\partial x} \frac{dx(t)}{dt} +  \frac{\partial y(x,t)}{\partial t}$$

[Identity Function Trick]
為了解決以上容易混淆的問題，我們還有一個保證觀念正確安全方法，就是加入新的變數 $z$，並令它為 identity function :)，例如:  $z=z(t) =  t$
則  $y = y(x,t) , x = x(t)$ 這個系統，等價於 $y = y(x,z) , x = x(t) , z = z(t)$
則新的系統可以寫成三層網路 : $\{t\} \times \{x,z\} \times \{y\}$
則根據(*)
$$\frac{dy}{dt} = \frac{\partial y}{\partial x} \frac{dx}{dt} +  \frac{\partial y}{\partial z}   \overset{=1}{\frac{dz}{dt}} =  \frac{\partial y}{\partial x} \frac{dx}{dt} +  \frac{\partial y}{\partial z}$$

你會發現結論一樣，這種方法雖然麻煩點，但是比較不會混淆，其抽象的概念，就是想辦法加新一些變數把函數相依關係圖變成  Layer Network
以下再給一個比較複雜的例子做結尾:
============================================================

=============================================================
[小結]
Chain Rule 在現實生活中描述了在上下游函數結構變數們，變化率之間的影響程度，也是深度學習最核心的數學推導，而本文在符號上跟概念上容易混淆的地方做了一些澄清與解釋，以及從圖論的角度，窮舉路徑，邊集的關係~~

[以上純為學術經驗交流知識分享，如有錯誤或建議可留言~~] 

by Plus & Minus 2018.04