跳到主要內容

Efficient Way From Events To Disjoint Events



本文說明機率論如何在給定機率事件(Events) 如何轉成互斥機率事件(Disjoint Events) 的一些方法

[機率論複習/符號定義]
令 $\omega \in \Omega$ 為樣本點(sample),樣本空間(sample space)。以及已經定義的(pre-defined)一些事件集 (Events) $ e \in E$ ,與每個事件 $e$ 所對應的樣本點集 $\omega \in \Omega_{e}$
當隨機發生時,相當於從樣本空間 $\Omega$ 根據機率分布 $p_{\Omega}$ 而產出一個元素 $\omega_{*}$ 
當 $\omega_{*} \in \Omega_{e}$  我們說事件 $e$ 發生,反之沒發生,發生的機率為 $$p_{e}:=\sum_{\omega \in \Omega_{e}}p_{\omega}$$

註: 現實生活中,事件 $e$ 的樣本集通常是 $\{0,1\}^{n}$ 的子集, $n$ 可能為"實驗次數"或是"黑箱個數"
$$\bigwedge_{e \in E} \left( \Omega_{e} \subseteq \{0,1\}^{n} \right)$$

[問題定義]
如何給定 $ \Omega_{E} :=  \{\Omega_{e}\}_{e \in E}$ 找到互斥事件集 $E^{disjoint}$ 與其樣本集
$\Omega_{E^{disjoint}}:= \{\Omega_{e} \}_{e \in E^{disjoint}}$ 而且 $$  \bigwedge_{e \in E} \bigg( p_{e} \in Span \bigg\{ p_{e'}: e'\in E^{disjoint} \bigg\} \bigg)$$

[文氏圖交集想法]
很明顯有一個解 $\Omega_{E^{disjoint}} =  \bigg\{\displaystyle{ \bigcap_{e \in S}\Omega_{e} \cap \bigcap_{e \in E\setminus S}\bar{\Omega}_{e } : S \subseteq E    }  \bigg\}$,也就是把文氏圖切成 $2^{|E|}$ 塊。但現實生活中,如果 $|E| = 50$,則要做 $2^{50}-1$次集合組合間交集運算,而且很多"塊"可能都是空集合,稀疏的(Sparse),實作上可能不能直接這樣思考!!

[從樣本點角度出發]
可以先把 $\bigg\{ \Omega_{e}: e \in E \bigg\}$ 做自然對偶對應 (Natural Dual Correspondence) (筆者自己的用詞) ,產生 $\color{red}{\bigg\{ E_{\omega} :   \omega \in  \displaystyle{\bigcup_{e \in E}\Omega_{e}} \bigg\}}$ ,也就是 
$$  \bigwedge_{e\in E} \bigwedge_{\omega \in \Omega} \bigg(  \omega \in \Omega_{e} \Longleftrightarrow e \in  \color{red}{E_{\omega}}        \bigg) $$

計算複雜度只要 $\displaystyle{O\left(\sum_{e\in E}|\Omega_{e}|\right)}$
白話來說,我們把焦點從 $\color{blue}{"事件 e  發生所需要的樣本點 \omega"}$ 轉移到 $\color{green}{"樣本點 \omega 出現時,哪些事件  e  會發生"}$
另外考慮 $E_{\omega}$ 上的事件們 $$\left\{\begin{array}{c}e \in E_{\omega}  \Longrightarrow \omega \in \Omega_{e} \\ e' \in E_{\omega}  \Longrightarrow \omega \in \Omega_{e}\\  e'' \not\in E_{\omega}  \Longrightarrow \omega \not\in \Omega_{e''}    \\\end{array}\right. \Longrightarrow  \omega \in \Omega_{e}\cap \Omega_{e'} \cap \bar{\Omega}_{e''}$$
廣義來說 : $$ \omega \in \left(\bigcap_{e \in E_{\omega}} \Omega_{e}\right) \cap \left( \bigcap_{e \in E\setminus E_{\omega}} \bar{\Omega}_{e} \right) $$
會發現恰好就是文氏圖,$2^{|E|}$裡"非空"的那一塊,於是我們可以定義集合的集合 $\mathcal{C} := \{\underset{=c}{E_{\omega}}\}$ ,而且很明顯 $\mathcal{C}$ 互斥,以及 $\forall e \in E ,  p_{e} \in  Span \bigg\{  p_{c} : c \in \mathcal{C}  \bigg\}$
其中 $p_{c} := \sum_{\omega \in  \#} p_{\omega}$ , $ \# := \bigg\{\omega' \in \Omega :  E_{\omega'} = \underset{= c}{E_{\omega}}   \bigg\} $

[舉例]
假設隨機試驗為丟3次銅板,F為正面,T為反面,定義事件集 $ e \in E := \{ AM1T, AL1T , E1T,ALLT , ALLF , F1T, C2T \}$
以及樣本點集 $ e : \Omega_{e}$
$AM1T = At-Most-1-T  : \{FFF,TFF,FTF,FFT\}$
$AL1T =  At-Least-1-T : \{TFF,FTF,FFT,TTF,FTT,TFT,TTT\}$
$E1T = Exact-1-T : \{TFF,FFT,FTF\}$
$ALLT = All-T : \{TTT\}$
$ALLF = All-F : \{FFF\}$
$FIT = First-is-T : \{TFF,TTF,TFT,TTT\}$
$C2T = Consecutive-2-T : \{ FTT,TTF\}$

構造出 $\omega : E_{\omega}$

$FTF : \color{red}{\{AL1T,AM1T,E1T\}}$
$TFF : \{AL1T,AM1T,FIT,E1T\}$
$FFT : \color{red}{\{AL1T,AM1T,E1T\}}$
$FFF : \{ALLF,AM1T\}$
$FTT : \{C2T,AL1T\}$
$TTF : \{C2T,AL1T,FIT\}$
$TTT :\{ALLT,AL1T,FIT\}$
$TFT :\{AL1T,FIT\}$

構造出互斥事件群 !! $c :  \Omega_{c}$
$\color{red}{\{AL1T,AM1T,E1T\}} : \{FTF,FFT\}$
$ \{AL1T,AM1T,FIT,E1T\} : \{TFF\}$
$ \{ALLF,AM1T\} :  \{FFF\}$
$\{C2T,AL1T\} : \{FTT\}$
$ \{C2T,AL1T,FIT\} : \{TTF\} $
$\{ALLT,AL1T,FIT\} : \{TTT\}$
$\{AL1T,FIT\} : \{TFT\} $
其餘狀況 : $\emptyset$

[小結]
本文提供一個簡單的方法,從樣本點的對應出發,會比從事件間交集間還來的有效率。


[以上純為學術經驗交流知識分享,如有錯誤或建議可留言~~] 
by Plus & Minus 2018.07



留言

這個網誌中的熱門文章

Linear Regression By Using Linear Programming

當拿到一筆資料準備玩統計,往往會想要做線性迴歸( Linear Regression ),找出一個模型( mathematical model )來解釋變數間的關係,一般都是使用平方距離,但是如果我們採用絕對值距離呢?? 而剛好在工業工程( Industrial Engineering ),作業研究( Operation Research ) 領域,發展成熟的線性規劃( Linear Programming ) 恰好可以來解決,是一個跨領域的應用 !! 已經存在有許多商業或open source 軟體,如: Gurobi , Cplex , Xpress , Mosek , SCIP  可以輕易求解大型的線性規劃問題。而不僅如此也可以利用整數規劃( Integer Programming )來做特徵選擇 ( Feature Selection ),甚至可以偵測離群值( Detect Outlier ) !! 本文只介紹最小絕對值和,關於 Feature Selection , Detect Outlier 可以參考 Mixed-Integer Linear Programming Robust Regression with Feature Selection , Oleksii Omelchenko , 2010 的論文。 [Data Fitting Problem] 給定$n$筆實數型訓練資料 (training data) $\{(x^{k},y^{k})\}^{n}_{k=1} = \mathcal{D} , x^{k} =(x^{k}_1,x^{k}_2, ... , x^{k}_{p})\in \mathbb{R}^{p}$ , $y^{k} \in \mathbb{R}$ , 我們目標是想要找到一個函數 $f_{\mathcal{D}} : \mathbb{R}^p \rightarrow \mathbb{R}$ 使得  $\forall x \in \mathbb{R}^{p} , f_{\mathcal{D}}(x) \approx y$ , 精確來說: $$ \text{Find } f_{\mathcal{D}} \text{ such that } f_{\mathcal{D}}(x)\approx \left\{

Chain Rule & Identity Function Trick

本文為筆者學習微積分,函數概念與Chain Rule 的時候,遇到的一些概念大坑。本文一一澄清一些個人看法,並分享 Chain Rule 廣義的樣子,以及對於遞迴系統該如何計算...等等看法。 [坑1 : 變數/值符號的認識] 一切從 $y = f(x)$ 開始,我們習慣把 Input 變數用"括號"刮起來,Output y 代表值,f 代表函數。或是可以想成這樣:   $$ x \overset{f}{\longrightarrow} y $$ 這種表示法概念上很嚴謹,但缺點是你必須要用三個符號 $x$,$y$,$f$ 而在微分方程領域出現這種寫法 $y = y(x)$  (把 $f$ 換成 $y$) ,這種寫法就頗簡潔,Chain Rule 通常都是這類表示法。缺點是心裡要能確實明白在哪個場合 $y$ 到底是給定的"值"還是"函數"(註: 通常大多代表函數 $y$,值的話通常會這樣寫 $y(x_{0})$,$y_{0}$) ============================================================== [Bonus] $y=y(x)$這種表示法還有一個好處,如果允許 $f$ 是一對多,那麼 $y(x)$ 就是 $y \text{ is depend on } x$ 的意思,如果你喜歡用集合論來表示可以先定義$f$ 的定義域/對應域 $$ f : X \rightarrow Y$$ 然後 $y(x)$ 可以寫成這樣 $y \in Y_{x}$,其中值域為 $$ f(X):=\bigcup_{x \in X}Y_{x} \subseteq Y$$ ============================================================== [坑2 : Input 的變數到底是哪些] 這邊舉兩個例子提醒: (Ex1) 代換法會重新改變函數的 Input 例如 : $y = f(x) = x+1$ , $ z = g(y) = 2y$  可以代換一下,寫成 $z = g[f(x)] = 2(x+1)$ 如果你用簡記你會發現 $y(x) , z(y) , z(y(x)) \equiv z

Probability Model Of Bingo Game

本文介紹經典的"賓果 Bingo" 遊戲,機率與期望值的解析計算公式的計算概念,相關的數學建模....等等 [遊戲情境] 總共有 $n$ 個相異的號碼彩球,號碼集為 $S:=\{1,2,3,....n\}$,今玩家可以花$1$元,買$1$張賓果卡 ($5 \times 5$) 位置座標集 $Z$, $|Z|=25$,然後從$S$ 隨機均勻選擇 $25$個相異的號碼並排列到一個佇列(queue),而開球只會開前 $m$ 顆球,$25 \leq m\leq n$,而給定獎項圖形集 $\color{red}{p \in P := \{Bingo,王,十,一_1,一_2,...,一_5  \}}$ (可自行設計) ,以及已知賠率表向量 $odds_{P}$。開完球後,把Bingo 卡上的中獎的號碼圈起來形成"中獎圖形" ===================================================== 其中獎項圖形 : "$Bingo$" 代表$25$個號碼全中 "十"代表第 $3$ 列(row)  第 $3$ 行 (column) 有中 (共$9$個號碼) "王"代表第 $1$ , $3$ , $5$ 列(row)  第 $3$ 行 (column) 有中 (共$17$個號碼) "$一_k$" 代表第 $k$ 列有中 (共$5$個號碼) ===================================================== 若中獎圖形有涵蓋獎項圖形大致會獲得,賠率 $odds_{p} \times 1 $ 元,但有些合理規則: ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ $[ 規則 1 ]$ 若獎項圖形 $p_1,p_2$ 有完全重疊$(p_1 \subseteq p_2)$,則以大圖形 $odds_{p_2}$ 賠率算 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ $$\color{green}{ 重要假設: 合理的