跳到主要內容

Binary Representation & Merge Encoding



本文介紹筆者自己定義的名詞 : Merge Encoding ,或許有別的學術名詞 !! 數學概念簡單易懂,用途方便理解集合論,機率論,壓縮紀錄大量的元素等等 :)

在數學上,我們習慣會用  $\{0,1\} = \{ False , True \}$,而且日常生活經驗常構造出高維度子集合

$$ s \in  S \subseteq  \{0,1\}^{n} $$
====================================================
例如 : $n = 3$  長相大概像這樣 $$ s \equiv (s_1,s_2,s_3) \in S = \{(0,0,1), (1,0,1),.....\} \subseteq \{0,1\}^3$$
====================================================
很明顯 $|S| \leq 2^{n}$,而且 $$\bigwedge_{s \in S}\bigg(\sum_{k=1}^{n} s_k \in [0,n]_{\mathbb{Z}} \bigg)$$

可以把 $n$ 想成物件的集合個數 $|K|$ ,$K$ 為物件集,則 $S$ 相當於選取哪些物件可能的組合,類似背包問題(knapsack problem)的概念。
=====================================================
例如: $(0,1,1)$ 代表選第2個與第3個物件
=====================================================
今想要表達一個物件 $k \in K$ 在集合$S$是可有可無的概念,也就是  $$(s_{k},s_{-k}) , (\bar{s_k},s_{-k})  \in  S$$
其中
$$\bar{s_k} =  \left\{ \begin{array}{ccc} 1 & \text{if }  & s_k = 0 \\  0 & \text{if } & s_k =1 \\  \end{array} \right.  \quad , \quad  s_{-k} \equiv \underbrace{(s_{k'})_{k' \in K-\{k\}}}_{\text{向量}} $$


於是可以使用新的數字 $2$ 來表達此概念 :)   $2 \equiv \{0,1\}$

定義 MergeEncoding ,  $$(s_{k},s_{-k}) \text{ or } (\bar{s_{k}},s_{-k}) \equiv (2,s_{-k})$$
====================================================
例如 :  $S = \{ (0,1,\color{red}{1}), (0,1,\color{red}{0})\} \equiv \{ (0,1,\color{red}{\{0,1\}})\} \equiv \{ (0,1,{\color{red}2}) \}$
====================================================
所以任何 $S \subseteq \{0,1\}^{|K|} $ ,都存在 $S'   \subset  \{0,1,2 \}^{|K|}$
注意:  Merge Encoding 不是函數,$S' \in MergeEncoding(S)$,但是 preimage 是一個函數 !!  $InverseMergeEncoding(S') = S$
白話來說 : 給一個 $S$ 可能有很多種 $S'$ 的表示,給一個 $S'$ 只會有唯一的 $S$ !!
====================================================
例子[*]:
$$ S = \{ (1,0,0) , (1,1,0) , (0,1,1) , (1,1,1) \} \equiv \underbrace{\{ (1,0,0) , (1,1,2) , (0,1,1)  \}}_{S'_1} \equiv \underbrace{\{ (1,2,0) ,(2,1,1) \}}_{S'_2} $$
====================================================
有了 Merge Encoding 以後,就可以拿來跟代數意義,集合論/機率論結合

[*] 代數意義:  英文大寫 $ = 1$ ,英文小寫 $ = 0$
$$Abc  + ABc + aBC + ABC = Abc + AB(C+c) +aBC =  A(B+b)c + (A+a) BC  $$

就是分配律啦 ~~ ,項數越少,計算量就越少,如何給定 $S$ 快速找到元素最少的 Merge Encoding  $S^{*} := \underset{S' \in MergeEncoding(S)}{\text{argmin } |S'| }$  是重要的問題 !!

集合論 :
給定一些集合 $\Omega_k$,定義  $$ \bigwedge_{k \in K} \bigg( s_k  = 1  \Longleftrightarrow    \omega  \in \Omega_k   \bigg) $$   
於是 $\Omega_{k} \equiv (\overbrace{1}^{s_k},\overbrace{2,...,2}^{s_{-k}})$
==========================================================
例如 :  $|K| = 2$

$\Omega_{1} \cap \Omega_{2}  \equiv (1,1)$
$\Omega_1  \setminus \Omega_2 \equiv \Omega_{1} \cap \bar{\Omega_{2}} \equiv (1,0)$
$\Omega_2 \setminus \Omega_1 \equiv \bar{\Omega_{1}} \cap \Omega_{2} \equiv (0,1)$
$\Omega_{1} \equiv (1,2)$
$\Omega_{2}  \equiv (2,1)$
$\Omega_{1}  \cup \Omega_{2} \equiv \{(1,1),(1,0),(0,1) \}  $
全空間 $\equiv \{ (2,2)\}$
==========================================================
機率論:
$P(\Omega_{1} \cap \Omega_{2})  \equiv p_{11}$
$P(\Omega_1  \setminus \Omega_2) \equiv P(\Omega_{1} \cap \bar{\Omega_{2}}) = p_{10}$
$P(\Omega_2 \setminus \Omega_1) \equiv P(\bar{\Omega_{1}} \cap \Omega_{2}) = p_{01}$
$P(\Omega_{1}) = p_{12} = p_{10} + p_{11}$
$P(\Omega_{2}) = p_{21} = p_{01} + p_{11}$
$P(\Omega_{1}  \cup \Omega_{2}) = p_{10} + p_{11} + p_{01} = p_{12} + p_{01} = p_{21} + p_{10} = p_{22} - p_{00}  $
$P(全空間) = p_{22} =1$

[檢驗 $S' \equiv S$]
有個必要條件
也就是把 $2$ 全部展開後的元素個數要跟 $|S|$ 相等
 $$ S' \in MergeEncoding(S)  \Longrightarrow  \sum_{s' \in S'} 2^{\#} =  |S|      $$

其中 : $$\# := \sum_{k \in K}\color{blue}{\underbrace{[s'_k = 2]}_{\text{Iverson Bracket}}} = 2\text{的個數}$$
例如: 例子[*] 分別為 $1+1+1+1 = 1+2+1 = 2+2 = 4$

[小記]
由於筆者對於數字 $2 \equiv \{0,1\}$  比較敏感,有了 Merge Encoding,就更能理解$|K|$維度文氏圖,排容原理(inclusion-exclusion principle)的計算,而非透過集合符號 !! 記得口訣 : 看到 $2$ 就可以展開 $0$ 跟 $1$ !!




[以上純為學術經驗交流知識分享,如有錯誤或建議可留言~~] 
by Plus & Minus 2018.07


留言

這個網誌中的熱門文章

Linear Regression By Using Linear Programming

當拿到一筆資料準備玩統計,往往會想要做線性迴歸( Linear Regression ),找出一個模型( mathematical model )來解釋變數間的關係,一般都是使用平方距離,但是如果我們採用絕對值距離呢?? 而剛好在工業工程( Industrial Engineering ),作業研究( Operation Research ) 領域,發展成熟的線性規劃( Linear Programming ) 恰好可以來解決,是一個跨領域的應用 !! 已經存在有許多商業或open source 軟體,如: Gurobi , Cplex , Xpress , Mosek , SCIP  可以輕易求解大型的線性規劃問題。而不僅如此也可以利用整數規劃( Integer Programming )來做特徵選擇 ( Feature Selection ),甚至可以偵測離群值( Detect Outlier ) !! 本文只介紹最小絕對值和,關於 Feature Selection , Detect Outlier 可以參考 Mixed-Integer Linear Programming Robust Regression with Feature Selection , Oleksii Omelchenko , 2010 的論文。 [Data Fitting Problem] 給定$n$筆實數型訓練資料 (training data) $\{(x^{k},y^{k})\}^{n}_{k=1} = \mathcal{D} , x^{k} =(x^{k}_1,x^{k}_2, ... , x^{k}_{p})\in \mathbb{R}^{p}$ , $y^{k} \in \mathbb{R}$ , 我們目標是想要找到一個函數 $f_{\mathcal{D}} : \mathbb{R}^p \rightarrow \mathbb{R}$ 使得  $\forall x \in \mathbb{R}^{p} , f_{\mathcal{D}}(x) \approx y$ , 精確來說: $$ \text{Find } f_{\mathcal{D}} \text{ such that } f_{\mathcal{D}}(x)\approx \left\{

Chain Rule & Identity Function Trick

本文為筆者學習微積分,函數概念與Chain Rule 的時候,遇到的一些概念大坑。本文一一澄清一些個人看法,並分享 Chain Rule 廣義的樣子,以及對於遞迴系統該如何計算...等等看法。 [坑1 : 變數/值符號的認識] 一切從 $y = f(x)$ 開始,我們習慣把 Input 變數用"括號"刮起來,Output y 代表值,f 代表函數。或是可以想成這樣:   $$ x \overset{f}{\longrightarrow} y $$ 這種表示法概念上很嚴謹,但缺點是你必須要用三個符號 $x$,$y$,$f$ 而在微分方程領域出現這種寫法 $y = y(x)$  (把 $f$ 換成 $y$) ,這種寫法就頗簡潔,Chain Rule 通常都是這類表示法。缺點是心裡要能確實明白在哪個場合 $y$ 到底是給定的"值"還是"函數"(註: 通常大多代表函數 $y$,值的話通常會這樣寫 $y(x_{0})$,$y_{0}$) ============================================================== [Bonus] $y=y(x)$這種表示法還有一個好處,如果允許 $f$ 是一對多,那麼 $y(x)$ 就是 $y \text{ is depend on } x$ 的意思,如果你喜歡用集合論來表示可以先定義$f$ 的定義域/對應域 $$ f : X \rightarrow Y$$ 然後 $y(x)$ 可以寫成這樣 $y \in Y_{x}$,其中值域為 $$ f(X):=\bigcup_{x \in X}Y_{x} \subseteq Y$$ ============================================================== [坑2 : Input 的變數到底是哪些] 這邊舉兩個例子提醒: (Ex1) 代換法會重新改變函數的 Input 例如 : $y = f(x) = x+1$ , $ z = g(y) = 2y$  可以代換一下,寫成 $z = g[f(x)] = 2(x+1)$ 如果你用簡記你會發現 $y(x) , z(y) , z(y(x)) \equiv z

Probability Model Of Bingo Game

本文介紹經典的"賓果 Bingo" 遊戲,機率與期望值的解析計算公式的計算概念,相關的數學建模....等等 [遊戲情境] 總共有 $n$ 個相異的號碼彩球,號碼集為 $S:=\{1,2,3,....n\}$,今玩家可以花$1$元,買$1$張賓果卡 ($5 \times 5$) 位置座標集 $Z$, $|Z|=25$,然後從$S$ 隨機均勻選擇 $25$個相異的號碼並排列到一個佇列(queue),而開球只會開前 $m$ 顆球,$25 \leq m\leq n$,而給定獎項圖形集 $\color{red}{p \in P := \{Bingo,王,十,一_1,一_2,...,一_5  \}}$ (可自行設計) ,以及已知賠率表向量 $odds_{P}$。開完球後,把Bingo 卡上的中獎的號碼圈起來形成"中獎圖形" ===================================================== 其中獎項圖形 : "$Bingo$" 代表$25$個號碼全中 "十"代表第 $3$ 列(row)  第 $3$ 行 (column) 有中 (共$9$個號碼) "王"代表第 $1$ , $3$ , $5$ 列(row)  第 $3$ 行 (column) 有中 (共$17$個號碼) "$一_k$" 代表第 $k$ 列有中 (共$5$個號碼) ===================================================== 若中獎圖形有涵蓋獎項圖形大致會獲得,賠率 $odds_{p} \times 1 $ 元,但有些合理規則: ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ $[ 規則 1 ]$ 若獎項圖形 $p_1,p_2$ 有完全重疊$(p_1 \subseteq p_2)$,則以大圖形 $odds_{p_2}$ 賠率算 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ $$\color{green}{ 重要假設: 合理的