跳到主要內容

Algebra Of Conditional Probability

條件機率(Conditional Probability)的概念，Bayes Formula，在日常生活中機率應該是最常使用的公式，由於多維的時候需要寫一長串公式，所以這邊自己嘗試定義推廣到抽象化的代數符號!!

令 $X,Y,Z$ 為連續隨機變數的集合，$f_X, f_Y,f_Z$ 為 joint pdf
1.Define:
$$\left<\frac{X}{Y} \right> := \frac{f_{X\cup Y}}{f_Y}   $$
(p.s : 意思是給定 $Y$ 資訊下，測量$X$ 的機率密度 ，即 $X|Y$ 的分布)
-------------------------------------------------------------------
[Ex: 二維的例子]
$$X = \{x_1,x_2\}, Y=\{x_2\}  \Longrightarrow  \left<\frac{X}{Y} \right> = \frac{f(x_1,x_2)}{f(x_2)} $$
其中分子為 joint $(x_1,x_2)$ , 分母為 marginal $x_2$
-------------------------------------------------------------------
2.No Information : ($f_\emptyset = 1$)
$$ \left< \frac{X}{\emptyset} \right>  := f_X$$

3.Integration Formula : (if $Y\subset X$)
$$ \left<\frac{Y}{Z} \right>= \int_{X\setminus Y}\left<\frac{X}{Z} \right> $$
--------------------------------------------------------------------
[Ex: 二維的例子]
$X = \{x_1,x_2\}, Y=\{x_1\},Z=\emptyset$
$$\Longrightarrow  \left<\frac{Y}{Z} \right> = f(x_1) =   \int_{x_2 \in \mathbb{R}}f(x_1,x_2) dx_2 = \int_{X\setminus Y}\left<\frac{X}{Z} \right> $$
其中左式為 marginal $x_1$ 右式為 joint $(x_1,x_2)$ 對 $x_2$ 的積分
--------------------------------------------------------------------

4.Equal To 1:
$$  \left< \frac{\emptyset}{Z} \right>  = \int_{X\setminus \emptyset}  \left<\frac{X}{Z} \right> = 1 $$

5.Bayes' Theorem :
$$ \left<\frac{Y}{X\cup Z} \right> \cdot \left<\frac{X}{Z}\right>  = \left<\frac{X\cup Y}{Z}\right> = \left<\frac{X}{Y\cup Z} \right> \cdot \left<\frac{Y}{Z}\right>  $$
--------------------------------------------------------------------
[Ex: 二維的例子]
$X = \{x_1\}, Y=\{x_2\},Z=\emptyset$
$$ f(x_2|x_1)\cdot f(x_1) =  f(x_1,x_2) = f(x_1|x_2) \cdot f(x_2)$$
這就是 conditional  $\times$  marginal $=$ joint !!
--------------------------------------------------------------------
(註: 貝氏統計(Bayesian statsitics)裡，$X$ 為母體參數向量，$Y$ 為樣本隨機向量，$Z = \emptyset$
當樣本給定$X$時!! 則 $\left<\frac{Y}{X\cup Z} \right>$ 稱為 likelihood ，$\left<\frac{X}{Z} \right>$  稱為 prior ，$\left<\frac{X}{Y\cup Z}\right>$ 稱為 posterior)


6.$X,Y$ are independent :
$$ \left<\frac{X}{Y} \right>=  \left< \frac{X}{\emptyset} \right>  \text{ and } \left<\frac{Y}{X} \right>=  \left< \frac{Y}{\emptyset} \right>  $$


7.$X$ self-independent :
$$  \left<\frac{X}{Z} \right>=  \prod_{x\in X}\left< \frac{\{x\}}{Z} \right>$$
-----------------------------------------------------------------
[Ex: Naive Bayes Classifier 的假設]
$X = \{x_1,x_2,x_3,....x_n\}$，$Z= \{z\}$
$$ f(x_1,x_2,....x_n|z) = \prod^{n}_{i=1} f(x_i|z) $$
------------------------------------------------------------------


8.$X$ joint pdf-decomposition :
(Given Nested Sequence  $S_i$ s.t $\overset{=S_0}{\emptyset} \subset S_1\subset...\subset S_{n-1} \subset \overset{=S_n}{X} $)
$$   \left<\frac{X}{\emptyset} \right>=  \prod^{n}_{i= 1}\left< \frac{S_{i}}{S_{i-1}} \right> = \prod^{n}_{i= 1}\left< \frac{S_{i}\setminus S_{i-1}}{S_{i-1}} \right> $$
[註 : 因為 $S_{i-1} \subset S_{i} \Longrightarrow  S_{i}\cup S_{i-1} =  (S_{i}\setminus S_{i-1}) \cup S_{i-1}  $]
--------------------------------------------------------------------
[Ex: 四維單一展開]
$X = \{x_1,x_2,x_3,x_4\} , S_1=\{x_1\} ,S_2=\{x_1,x_2\} , S_3 = \{x_1,x_2,x_3\} $
$$ f(x_1,x_2,x_3,x_4) = f(x_1)  \cdot f(x_2|x_1) \cdot  f(x_3 | x_1,x_2) \cdot f(x_4 | x_1,x_2,x_3)  $$
--------------------------------------------------------------------

[以上純為學術經驗交流知識分享，如有錯誤或建議可留言~~] 
by Plus & Minus 2017.08

留言

張貼留言

這個網誌中的熱門文章

Nash Equilibrium & Best Responce Function (BRF) In Continuous Strategies

經濟學重要的賽局理論( Game Theory )領域，用數學描述人與人之間的理性互動，最重要的就是尋找奈許均衡( Nash equilibrium )， 本篇介紹其數學規劃與非線性方程組!!  假設有 $p$ 名玩家(player $i$)，$i=1,2,3,4,5,....p$ ， 正在玩一場遊戲(Game)~~，完全不合作，各自獨立作決策 每個人有決策向量 $x_i \in \Omega_i \subseteq R^{n_i}$ (有$n_i$個決策變數)  定義長向量: $\underbrace{x =  (x_1,x_2,x_3,....x_p)}_{\# \text{ of } \sum^{p}_{i=1}n_i \text{ variables }} \in  \prod^{p}_{i=1} \Omega_i = \Omega $ 對於每個 player $i$ ，長向量可以寫成 $x = (x_i , x_{-i})$ ，$x_{-i}$ 代表其他人(不是 player $i$) 能做的決策向量。 所有人各自作決策後，每個人都會個自的存在報酬效用函數 $f_i (x)  \in \mathbb{R} $ (報酬函數皆為公開已知資訊) 假設每位玩家是理性人(會極大化自己效用) 即 $$\forall i = 1,2,3,4....p \qquad  \underset{x_i \in \Omega_i}{\text{max }}f_i(x)  $$ [註: 如果為合作可視為多目標規劃問題( multiobjective )，即 $x_1,x_2,...x_p$ 可以由領導人一起決定] [註: 如果為合作而且把效用加總，即目標式變成 $\sum_{i=1}^{p} f_i(x)$ ，可能對集體效益有更大的幫助，但是如何分配效益給 ( player $i$ )會是個議題，可以查關鍵字 fair optimization ] 我們可以定義每個 player i 的 Best Response Function (BRF) or Best Reponce Set $S_i(x_{-i}) \subset \Omega_i$ $$  S_i(x...
張貼留言
閱讀完整內容

Linear Regression By Using Linear Programming

當拿到一筆資料準備玩統計，往往會想要做線性迴歸( Linear Regression )，找出一個模型( mathematical model )來解釋變數間的關係，一般都是使用平方距離，但是如果我們採用絕對值距離呢?? 而剛好在工業工程( Industrial Engineering )，作業研究( Operation Research ) 領域，發展成熟的線性規劃( Linear Programming ) 恰好可以來解決，是一個跨領域的應用 !! 已經存在有許多商業或open source 軟體，如: Gurobi ， Cplex ， Xpress ， Mosek ， SCIP  可以輕易求解大型的線性規劃問題。而不僅如此也可以利用整數規劃( Integer Programming )來做特徵選擇 ( Feature Selection )，甚至可以偵測離群值( Detect Outlier ) !! 本文只介紹最小絕對值和，關於 Feature Selection , Detect Outlier 可以參考 Mixed-Integer Linear Programming Robust Regression with Feature Selection , Oleksii Omelchenko , 2010 的論文。 [Data Fitting Problem] 給定$n$筆實數型訓練資料 (training data) $\{(x^{k},y^{k})\}^{n}_{k=1} = \mathcal{D} , x^{k} =(x^{k}_1,x^{k}_2, ... , x^{k}_{p})\in \mathbb{R}^{p}$ , $y^{k} \in \mathbb{R}$ ， 我們目標是想要找到一個函數 $f_{\mathcal{D}} : \mathbb{R}^p \rightarrow \mathbb{R}$ 使得  $\forall x \in \mathbb{R}^{p} , f_{\mathcal{D}}(x) \approx y$ ， 精確來說: $$ \text{Find } f_{\mathcal{D}} \text{ such that } f_{\mathcal{D}}(x)\...
張貼留言
閱讀完整內容

Lattice & Multinomial Theorem

本文介紹格子點(Lattice) 幾何意義與多項式定理(Mutinomial Theorem) 的關係，並可協助我們理解計算一些機率問題。 [符號定義] 非負整數 / 非負實數:  $\mathbb{Z}_{\geq 0} := \{0,1,2,3,4,......\}  \subseteq [0,\infty) =: \mathbb{R}_{\geq 0}$ 離散機率向量:  $$p_{I} := (p_{i})_{i \in I} \text{ s.t } \sum_{i\in I}p_i =1 ，|I|<\infty  $$ 發生事件 $i \in I$ 的累積次數向量: $$ k_{I} := (k_i)_{i \in I} \in \mathbb{Z}^{|I|}_{\geq 0} $$ $\mathbb{Z}^{|I|}_{\geq 0}$ 就是 $|I|$ 維格子點 !! [格子點情境] 出發點定義為 $k^{start}_{I}:= \overbrace{(0,0...,0)}^{|I|}$，今發生一次 $p_{I}$ 分布隨機互斥事件，等價於"點的移動"(state transition)，數學定義如下: $$  \text{Event } i  \text{ happens }  \Longleftrightarrow  \overbrace{(\color{red}{k_i},k_{-i})}^{k^{old}_{I}}  \underset{\text{with probability }p_{i}}{\longrightarrow}   \overbrace{(\color{red}{k_i+1},k_{-i})}^{ k^{new}_{I}}    $$ PS1: 其中  $k_{-i} := (k_{i'})_{i' \in I-\{i\}}$ PS2: 不管怎麼走都在第一象限，也就是只能往右，往上，往高.... 當發生 $n$ 次獨立同分布 $p_{I}$ (iid) 的事件後，所有可能點位置在以下的集合上 $$  S_{n}(\col...
張貼留言
閱讀完整內容