跳到主要內容

Random Variables In Inner Product Space


本文介紹"隨機變數"與線性代數"內積空間"的關係 !!
=============================================
在線性代數(Linear Algebra) 裡大家都熟悉向量的內積運算，即給定兩個 $|I|$ 維向量，$u_{I}:= (u_i)_{i \in I},\quad v_{I}:= (v_i)_{i\in I}  \in \mathbb{R}^{|I|}$，註: 編號化 $I \equiv \{1,2,3,....|I|\}$

可以定義大家熟悉內積的運算 $$\left< u_{I},v_{I} \right> := \sum_{i\in I} u_i \cdot v_i$$
簡記為$<u,v>$，令 $w$ 也為向量，$\alpha , \beta  \in \mathbb{R}$ 為實數
有一些大家熟悉的內積空間性質 (*)  , (註:不討論係數為虛數 $\mathbb{C}$):
===========================================================
$ [1] \text{對稱性 }   \left< u,v \right>  =   \left< v,u \right> $
$ [2]\text{左分配律}    \left<u + w  , v \right>  =   \left<u , v \right>  +  \left<w , v \right>  $
$ [3] \text{右分配律}     \left<u   , v+w \right>  =   \left<u , v \right>  +  \left<u , w \right>  $
$ [4] \text{左線性}   \left< \alpha u , v \right>   = \alpha \left<u , v \right>$
$ [5] \text{右線性} \left<u , \beta v \right> = \beta \left< u,v \right> $
$ [6] \text{自己恆正}    \left<u,u\right> \geq 0$  (因為平方和 $\geq 0$ )
===========================================================
額外地，利用 $[1] ,[4],[5]$，可以知道
$[7]  \left<\alpha u, \beta v\right> = \alpha \beta \left< u,v \right>$
註: $[6]$  可以跟量測向量的長度 norm 概念結合(Hibert Space)  $$ [8]\quad ||u|| := \sqrt{\left<u,u\right>} \text{ iff }   \left<u,u\right>  := ||u||^2 $$
假設三維空間 $(|I|= 3)$，根據餘弦定理:
我們腦中就有兩向量"夾角"與"投影" 的畫面 !!
$$ \text{夾角 $cos$ 值:  } cos(\theta_{uv}) = \frac{<u,v>}{||u||\cdot ||v||} $$
$$ \text{投影向量: } proj_{v}(u) := \underbrace{\frac{<u,v>}{<v,v>}}_{\text{投影純量}}u $$

以上是大家熟知的向量內積 ~~~ ，接下來探討機率論 !!

今考慮離散隨機變數 $X,Y$ 的時候，探討兩者的關係，需先定義 $X \equiv (x_{I},p_{I}) , Y\equiv (y_{J},p_{J})  $，以及聯合機率矩陣$$  p_{I\times J} := [p_{ij}]_{(i,j)\in I\times J}$$
==========================
其中~~
$$\underbrace{x_{I} := (x_i)_{i \in I} , y_{J} := (y_j)_{j \in J}}_{\text{值域向量}}$$
$X,Y$聯合機率函數(joint pmf) :  $$p_{ij}:= p(x_i,y_j) = Prob.(X=x_i , Y=y_j)$$
只看 $X$ 的分布 (marginal):
$$p_i := p(x_i) = \sum_{j \in J} p_{ij}$$
只看 $Y$ 的分布(marginal):
$$p_j := p(y_j) = \sum_{i \in I} p_{ij}$$
$$\underbrace{p_{I} := (p_i)_{i \in I} , p_{J} := (p_j)_{j \in J}}_{\text{機率向量}}$$
機率總和性質:
$$ \sum_{i\in I}p_i = 1  , \sum_{j \in J} p_j = 1$$
注意: $p_i$  與 $p_j$ 是不同的
==========================
於是我們可以計算 $X,Y$的共變異數
抽象概念定義:
$$  Cov(X,Y) :=  E[(X-E[X])(Y-E[Y])] = E[XY] - E[X]E[Y] $$
詳細計算定義:
$$ Cov(X,Y):=  \left(\sum_{(i,j) \in I\times J} x_i y_j \cdot p_{ij}\right)  -  \left( \sum_{i\in I}x_i \cdot p_i \right) \left(\sum_{j\in J} y_j \cdot p_j \right)  ... (*)$$

當探討 $Cov(X,Y)$ 性質的時候，有沒有似曾相似的感覺呢??  事實上，你可以把隨機變數 $X,Y$ 看成向量 $u,v$，$Cov(X,Y)$ 記做 $\left<X,Y\right>$ ，你會發現 $[1],[2],...[7]$ 都會滿足!! 確實共變異數 $Cov$ 就是內積的概念，雖然不是熟悉的內積，是另一種內積 !!
於是可以利用$(*)$檢驗，如以下的表格
===========================================================
$ [1'] \text{對稱性 }   Cov(X,Y)  =  Cov(Y,X)  $
$ [2']\text{左分配律 }    Cov(X + Y,Z)  =   Cov(X , Z)  +  Cov(Y , Z)  $
$ [3'] \text{右分配律 }     Cov(X,Y+Z)  =   Cov(X , Y)  +  Cov(X , Z)  $
$ [4'] \text{左線性 }  Cov(\alpha X,Y)  =   \alpha Cov(X , Y) $
$ [5'] \text{右線性 }Cov(X,\beta Y)  =   \beta Cov(X , Y) $
$ [6'] \text{自己恆正 }    Cov(X,X) \geq 0 $
$ [8'] \text{變異數,標準差定義 }  Var(X) := Cov(X,X) , \sigma_{X} := \sqrt{Cov(X,X)}$
===========================================================

[Fact 1]   隨機變數的線性組合的變異數 !!
$Var(\alpha X+ \beta Y) = \alpha^2 Var(X) + \beta^2 Var(Y) + 2\alpha \beta Cov(X,Y) $
證明: 可以利用$(*)$，即
$$\underbrace{Var(\alpha X+ \beta Y) = Cov(\alpha X+ \beta Y, \alpha X+ \beta Y)}_{\text{利用 }[8']} $$
$$  \underbrace{ =  Cov(\alpha X+ \beta Y, \alpha X) +   Cov(\alpha X+ \beta Y,   \beta Y)}_{\text{利用 }[3']}$$
$$   \underbrace{= Cov(\alpha X, \alpha X) + Cov(\beta Y, \alpha X) + Cov(\alpha X, \beta Y) + Cov(\beta Y, \ \beta Y)}_{\text{利用}[2']}   $$
$$   \underbrace{= \alpha Cov(X,X) + \alpha \beta Cov(Y, X) + \alpha \beta Cov(X,Y) + \beta^2 Cov(Y,Y)}_{\text{利用}[4'][5']} $$
$$  \underbrace{\alpha^2 Var(X) + \beta^2 Var(Y) + 2\alpha \beta Cov(X,Y)}_{\text{利用}[1'][8']}  $$

[Fact 2] 相關係數(correlation) 就是夾角的概念 !!
$$   cos(\theta_{XY}) := \frac{\left<X,Y\right>}{||X||||Y||}\equiv \frac{Cov(X,Y)}{\sqrt{Var(X)\cdot Var(Y)}} $$

[Fact 3] $X,Y$ 隨機變數獨立 $\Longrightarrow$ 向量垂直正交
$$  X \perp Y   \Longleftrightarrow  \bigwedge_{(i,j) \in I \times J}\left(p_{ij} = p_i \cdot p_j\right) \Longrightarrow  Cov(X,Y) = 0  \Longleftrightarrow \theta_{XY} = 90^{\circ} $$

[推廣至多維]
給定 $|T|$ 維隨機向量 $X_{T} = (X_{t})_{t\in T} $ ，可以構造共變異數矩陣(Covariance Matrix)  $$\Sigma(X_{T}) := [Cov(X_{t_1},X_{t_2})]_{(t_1,t_2)\in T^2}$$
則當今天給定一個 $m \times |T|$ 常數矩陣 $A$ ，考慮線性變換:  $\underbrace{AX_{T}}_{\text{matrix-vector multiplication}}$
則  $\Sigma(AX_{T}) = A \Sigma(X_{T}) A^{transpose} =    \text{ $m \times  m$ matrix }$
類似這種性質都可以使用$[1'] \sim [8']$ 展開，輕鬆推導驗證 !!


註: 學術上大多會把共變異數矩陣 $\Sigma(\text{隨機向量})$ 寫成 $Cov(\text{隨機向量})$，但因為容易跟 $Cov(純量,純量)$ 混淆，故筆者不建議這種表示 !!

[延伸閱讀]
這連結有比較詳細的介紹 !!
Covariance and Dot Product
http://people.sju.edu/~pklingsb/dot.cov.pdf

[小結]
所以我們可以把"隨機變數"成功的與"內積計算"的性質給結合，在熟悉的空間算數學，具有幾何意義，這也是線性代數為何要研究抽象空間的動機 !!

[以上純為學術經驗交流知識分享，如有錯誤或建議可留言~~] 
by Plus & Minus 2018.06

留言

張貼留言

這個網誌中的熱門文章

Chain Rule & Identity Function Trick

本文為筆者學習微積分，函數概念與Chain Rule 的時候，遇到的一些概念大坑。本文一一澄清一些個人看法，並分享 Chain Rule 廣義的樣子，以及對於遞迴系統該如何計算...等等看法。 [坑1 : 變數/值符號的認識] 一切從 $y = f(x)$ 開始，我們習慣把 Input 變數用"括號"刮起來，Output y 代表值，f 代表函數。或是可以想成這樣:   $$ x \overset{f}{\longrightarrow} y $$ 這種表示法概念上很嚴謹，但缺點是你必須要用三個符號 $x$，$y$，$f$ 而在微分方程領域出現這種寫法 $y = y(x)$  (把 $f$ 換成 $y$) ，這種寫法就頗簡潔，Chain Rule 通常都是這類表示法。缺點是心裡要能確實明白在哪個場合 $y$ 到底是給定的"值"還是"函數"(註: 通常大多代表函數 $y$，值的話通常會這樣寫 $y(x_{0})$,$y_{0}$) ============================================================== [Bonus] $y=y(x)$這種表示法還有一個好處，如果允許 $f$ 是一對多，那麼 $y(x)$ 就是 $y \text{ is depend on } x$ 的意思，如果你喜歡用集合論來表示可以先定義$f$ 的定義域/對應域 $$ f : X \rightarrow Y$$ 然後 $y(x)$ 可以寫成這樣 $y \in Y_{x}$，其中值域為 $$ f(X):=\bigcup_{x \in X}Y_{x} \subseteq Y$$ ============================================================== [坑2 : Input 的變數到底是哪些] 這邊舉兩個例子提醒： (Ex1) 代換法會重新改變函數的 Input 例如 : $y = f(x) = x+1$ , $ z = g(y) = 2y$ 　可以代換一下，寫成 $z = g[f(x)] = 2(x+1)$ 如果你用簡記你會發現　$y(x) , z(y) , z(y(x)) \equiv z...
張貼留言
閱讀完整內容

General Solution Of Eigen System In Linear Algebra

本文從淺白的角度回顧線性代數( Linear Algebra )，了解特徵值( eigenvalue )，特徵向量( eigenvector )，還有特徵多項式( Characteristic Polynomial ) 的框架，並推廣其概念，還有它在解差分方程式，微分方程式，差分方程組，微分方程組的關係。 ----------------------------------------------------------- [預備知識]    向量空間( vector space ) $V$，field over $\mathbb{C}$ ，線性獨立( linear independent )， Span ， Basis 等概念。 線性函數的定義為 $L : V \longrightarrow V$ ， $$\forall \alpha , \beta  \in \mathbb{C} , v_1 ,v_2 \in V \quad L(\alpha v_1 + \beta v_2) =\alpha L(v_1) + \beta L(v_2) $$ 其中 $L(0) = 0 \in V$ 其中 $+$ 都是$V$裡的加法，線性函數空間記做 $L \in \mathcal{L}^{V}$ 其中存在 $O \in \mathcal{L}^{V}$ 零函數 $O(V) = \{0\}$ ，即 $\forall v \in V ,  O(v) = 0 \in V $ 其中存在 $I \in \mathcal{L}^{V}$ 送到自己函數 ，即 $\forall v \in V ,  I(v) = v \in V $ ----------------------------------------------------------- [主要動機] 給定 $b \in V$ ,  $L \in \mathcal{L}^{V}$ 如何解線性系統 $L(x) = b$ ，換句話說就是構造出 $$ S_{b}:= \left\{x \in V : L(x) = b  \right\} $$ ，而 $Ker(L) := S_{0}$ ( Kernel ) 註: 構造出...
張貼留言
閱讀完整內容

All Different Expansion & Bell Numbers

本文分享筆者在計算排列組合(combinatorics)時，發現並描述系統性的窮舉公式 :) 暫時命名為 $\color{red}{\text{All Different Expansion }}$ ??  (有歷史文獻名詞歡迎筆者補充) [情境/動機] 假設箱子裡面有很多種物品，種類集記做 $I$ , 每種物品 $i$ 各有 $\#_i$ 個，向量記做 $\#_{I} := (\#_{i})_{i \in I}$ $$\text{箱子裡共有 } \sum_{i \in I} \#_i  \text{ 個物品}$$    令 $T := \{1,2,3,....|T|\}$，今從箱子裡"逐一"抽取物品共 $|T|$ 次 (抽出 $|T|$ 個物品) ============================================================= $$\color{blue}{\text{形成序列 : } x_{T} := (x_{t})^{|T|}_{t=1} \in I^{|T|}} $$ 註: $x_{t}$ 代表第 $t$ 次抽到的物品 ============================================================= 以下舉個小小的例子，來說明動機~ $I := \{a,b,c,d\}$，$|T| = 4 $，且假設物品個數無上限  $\color{red}{ \forall i \in I \quad \#_{i} = \infty}$ 於是我們可以開始窮舉(brute & force)情況 ~~ $\color{green}{(1)}$  $aaaa$，$bbbb$，$cccc$，$dddd$ 代表全同的情況 $\color{green}{(2)}$  $abcd$，$bcda$，$acbd$，....  代表全異的情況，共 $4!$種 $\color{green}{(3)}$  $abad$，$cbcd$，$bcba$，....  代表二同二異(且$x_{1}=x_{3}$) $\color{green}{(4)...
張貼留言
閱讀完整內容