指數分布族初探

論文讀到指數型分布族相關內容，遂做一個整理。不盡準確，望大佬們不吝指教。

指數分布族 Exponential Family 也稱為指數族、指數族分布，是統計中最重要的參數分布族。

學習指數型分布族，應當與指數分布 Exponential Distribution 區分開來。兩者並不是同一個東西。

所謂 “族”，英語裡中稱為 family，通常是具有相似特徵的一類。指數型分布族是一組分布，其概率密度函數和概率分布函數隨著分布參數的變化而變化。

常見的指數型分布族包括：
正態分布、卡方分布、二項分布、多項分布、Poisson 分布、Pascal 分布、 $\beta$ 分布、 $\Gamma$ 分布、對數正態分布等等。具體可見維基百科詞條和知乎專欄。

指數分布族#

指數型分布族 exponential family 的概率密度函數有以下表現形式：

f_\mathbf{X}(x;\theta) = h(x)\exp\{\langle\eta(\theta), T(x)\rangle-A(\theta)\}

其中， $\theta$ 是唯一的參數，滿足上式的所有 $\theta$ 構成參數空間 $\Theta$ ，對應的參數分布族 $\{P_\theta:\theta\in\Theta\}$ 是指數族。必須注意，這裡的參數 $\theta$ 不局限於狹隘的實數，也可以是 $n$ 維向量 $\theta\in \mathbb{R}^n$ 。

參數 $\theta$ 改變，分布 $X$ 的形態（概率密度函數、概率分布函數以及對應的圖像）也將改變。隨機變量 $x$ 服從於分布 $X$ 。函數 $T(x), h(x), \eta(\theta), A(\theta)$ 都是已知函數。函數 $h(x)$ 為非負函數。

$h(x)$ 通常被稱為是基礎度量 base measure.

$T(x)$ 是充分統計量 sufficient statistic.

$A(\theta)$ 是累積量生成函數 cumulant generating function 或稱為對數配分函數（配分函數的對數） log-partition function 。顯然 $A(\theta)$ 是實值函數，返回一個實數。

其中， $\eta(\theta)$ 與 $T(x)$ 可以是實數，也可以是向量。

由定義式子可以看出，根據指數函數的性質 $\exp\{\cdot\} = e^{\{\cdot\}} > 0$ 是非負的。所以指數族的支撐集只與 $h(x)$ 有關。也就是說，只與 $x$ 有關，而與未知參數 $\theta$ 無關。我們利用這一點，可以排除非指數型分布族（比如均勻分布）。

這裡需要簡單補充一下所謂支撐集的概念。簡單來說，對於實值函數 $f$ 而言， $f$ 的支撐集定義為：

$\text{supp}(f)=\{x\in X:f(x)\neq0\}$

支撐集是函數 $f$ 原定義域 $X$ 的一個子集。了解更多，可以參考維基百科詞條或 CSDN 博客。在概率密度函數中，由於概率非負，可以定義隨機變量的支撐集為（見知乎專欄）：

$\text{supp}(X) =\{x\in R : f_X(x)\gt 0\}$

幾種等價形式#

基於指數的運算法則，通過等價變換，給出指數族的兩種等價形式：

$f_\mathbf{X}(x;\theta) = h(x)g(\theta)\exp\{\langle\eta(\theta), T(x)\rangle\}$

$f_\mathbf{X}(x;\theta) = \exp\{\langle\eta(\theta), T(x)\rangle-A(\theta)+B(x)\}$

對應的替換關係是： $-A(\theta) = \ln g(\theta)$ ， $B(x)=\ln h(x)$

特別地，我們取 $Z(\theta) = \dfrac{1}{g(\theta)}$ , 可以得到另一中非常常見的指數族的表達式如下。其中 $Z(\theta)$ 是這個分布的配分函數 partition function。

f_\mathbf{X}(x;\theta) = \frac{1}{Z(\theta)}h(x)\exp\{\langle\eta(\theta), T(x)\rangle\}

規範形式#

上述定義式中， $\eta(\theta)$ 是關於參數 $\theta$ 的一個函數。在指數族中，我們要求 $\eta(\cdot)$ 是一個雙射函數（也就是一一對應函數）。雙射意味著函數單調可導，且存在反函數。

我們借助雙射函數的特性，就可以簡化指數族的形式。令 $\hat\theta = \eta(\theta)$ ，當然，這個變化是可逆的 $\theta = \eta^{-1}(\hat\theta)$ 。於是，我們得到： $f_\mathbf{X}(x;\hat\theta) = h(x)\exp\{\langle\hat\theta, T(x)\rangle-A^\prime(\hat\theta)\}$

等價替換一下符號，我們得到指數族規範形式 Canonical Form 如下：

f_\mathbf{X}(x;\theta) = h(x)\exp\{\langle\theta, T(x)\rangle-A(\theta)\}

我們通常把更新過後的這個參數 $\theta$ 稱為指數族的規範參數（或自然參數）。

自然形式#

雖然在定義上各有各的說法，但一般認為指數族的自然形式 Natural Form 和規範形式兩者等同或幾乎等同。例如斯坦福大學材料，伯克利大學材料，麻省理工課件，博客，知乎專欄 1 以及知乎專欄 2。

維基百科提供了另一種理解，這裡不做介紹。

自然參數空間#

介紹自然參數空間 Natural Parameter Space 之前，我們首先介紹對數配分函數 log-partition function $A(\theta)$

A(\theta) = \log\left(\int_X h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x\right)

所謂配分函數，可以理解為歸一化常數的一種特殊形式。

對數配分函數 $A(\theta)$ 使得 $f_\mathbf{X}(x;\theta)$ 得以歸一化，也就是說，保證了 $f_\mathbf{X}(x;\theta)$ 是一個概率密度函數。理解這個歸一化，可以參考上文幾種等價形式小節中的這個表達式

f_\mathbf{X}(x;\theta) = \frac{1}{Z(\theta)}h(x)\exp\{\langle\eta(\theta), T(x)\rangle\}

其中 $Z(\theta) = \int_X h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x$ 是與 $x$ 無關的一個函數。然後把兩邊式子同時積分，得到

\int_Xf_\mathbf{X}(x;\theta) = \frac{1}{Z(\theta)}\int_X h(x)\exp\{\langle\eta(\theta), T(x)\rangle\} = 1

所謂自然參數空間，就是使配分函數有限 ( $\lt \infty$ ) 時的參數 $\theta$ 的集合，即：

\mathcal N = \left\{\theta:\int_X h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x \lt \infty\right\} = \left\{\theta:Z(\theta) \lt \infty\right\}

自然參數空間有這一些特殊的性質。首先，自然參數空間 $\mathcal N$ 是一個凸集 Convex Set，對數配分函數 $A(\theta)$ 是一個凸函數 Convex Function。證明如下：

考慮兩個不同的參數 $\theta_1\in\mathcal N,~\theta_2\in\mathcal N$ ，給定 $0\lt\lambda\lt 1$ 證明 $\theta=\lambda\theta_1+(1-\lambda)\theta_2$ 也在自然參數空間 $\mathcal N$ 內（即證明 $\theta\in\mathcal N$ 也成立）

$\begin{aligned} Z(\theta) &= \exp\{A(\theta)\} = \exp\{A(\lambda\theta_1+(1-\lambda)\theta_2)\}\\ &=\int_X h(x)\exp\{\langle(\lambda\theta_1+(1-\lambda)\theta_2), T(x)\rangle\}~{\rm d}x \\ & = \int_X \left(h(x)^{\lambda}\exp\{\langle\lambda\theta_1, T(x)\rangle \}\right)\left(h(x)^{1-\lambda}\exp\{\langle(1-\lambda)\theta_2, T(x)\rangle\}\right)~{\rm d}x \\ &\leq \left(\int_X h(x)\exp\{\frac1\lambda\langle\lambda\theta_1, T(x)\rangle\} ~{\rm d}x \right)^\lambda \left(\int_X h(x)\exp\{\frac1{1-\lambda}\langle(1-\lambda)\theta_2, T(x)\rangle\} ~{\rm d}x \right)^{1-\lambda} \\ &=Z(\theta_1)^\lambda \cdot Z(\theta_2)^{1-\lambda} \end{aligned}$

上式中的 $\leq$ 來自於赫爾德不等式 Hölder's inequality 其定義可以參考 Wolfram MathWorld 或知乎專欄。值得一提的是，著名的數學軟件 Mathematica 就是 Wolfram Research 公司開發的。

因為 $\theta_1,\theta_2\in \mathcal N$ 即 $Z(\theta_1),Z(\theta_2)\lt\infty$ 成立。所以 $Z(\theta) = Z(\theta_1)^\lambda \cdot Z(\theta_2)^{1-\lambda} \lt \infty$ 也成立，根據定義，即可得 $\theta\in\mathcal N$ 。於是可以證明自然參數空間 $\mathcal N$ 是一個凸集。

將上式取對數，得到：

$A(\theta) = A(\lambda\theta_1+(1-\lambda)\theta_2) \leq \lambda A(\theta_1) + (1-\lambda)A(\theta_2)$

於是可以證明，對數配分函數 $A(\theta)$ 是一個凸函數。當 $\theta_1\neq\theta_2$ 時，Hölder's inequality 無法取到等號， $A(\theta)$ 是嚴格的凸函數。

關於凸集、凸函數的定義，可以參看凸優化教程知乎專欄或凸優化經典教材 cvxbook by Stephen Boyd

指數分布族實例#

回顧指數族的規範形式，下面我們證明幾種常見的分布，屬於指數族。

f_\mathbf{X}(x;\theta) = h(x)\exp\{\langle\theta, T(x)\rangle-A(\theta)\}

伯努利分布（兩點分布）#

伯努利分布的概率質量函數（伯努利分布是離散的，所以是概率質量函數）為：

p(x;\lambda) = \lambda^x\cdot (1-\lambda)^{(1-x)}

其中， $\lambda$ 是這個伯努利分布的參數（事件發生的概率）， $x =0$ （事件不發生）， $x =1$ （事件發生）。不存在其他的 $x$ 取值。

我們將式子改寫：

\begin{aligned} p(x;\lambda) &= \lambda^x\cdot (1-\lambda)^{(1-x)}\\ &\color{red}=\exp\left\{\log\left(\frac{\lambda}{1-\lambda}\right)x+\log(1-\lambda) \right\} \end{aligned}

我們取

\theta = \frac{\lambda}{1-\lambda}, \quad T(x)=x,\quad A(\theta) = -\log(1-\lambda) = \log(1+e^\theta),\quad h(x) = 1

可證伯努利分布屬於單參數指數族。

泊松分布#

泊松分布的概率質量函數如下：

\begin{aligned} p(x;\lambda) &= \frac{\lambda^xe^{-\lambda}}{x!} \\ &\color{red} = \frac{1}{x!}\exp\{x\log\lambda-\lambda\} \end{aligned}

取

\theta = \log\lambda,\quad T(x) = x,\quad A(\theta)=\lambda=e^\theta,\quad h(x)=\frac{1}{x!}

可證泊松分布屬於單參數指數族。

高斯分布（正態分布）#

高斯分布的概率密度函數如下

\begin{aligned} p(x;\mu,\sigma^2) &= \frac{1}{\sqrt{2\pi}\sigma}\exp\left\{ -\frac{1}{2\sigma^2}(x-\mu)^2 \right\}\\ & \color{red}=\frac{1}{\sqrt{2\pi}}\exp\left\{ \frac{\mu}{\sigma^2}x-\frac{1}{2\sigma^2}x^2-\frac{1}{2\sigma^2}\mu^2-\log\sigma \right\} \end{aligned}

取

\theta = \begin{bmatrix}\mu / \sigma^2 \\ \\ -1/2\sigma^2\end{bmatrix},\quad T(x) = \begin{bmatrix} x \\ \\ x^2\end{bmatrix},\quad A(\theta) = \frac{\mu^2}{2\sigma^2}+\log\sigma=-\frac{\theta_1^2}{4\theta_2}-\frac12\log(-2\theta_2),\quad h(x)=\frac{1}{\sqrt{2\pi}}

可證高斯分布屬於多參數指數族。

指數族的性質#

充分統計量#

關於充分統計量的理解，在本文之外，還可以參看知乎專欄或博客。這些材料對理解內容也會有很大幫助。本文的筆記內容，也部分來自於這些材料。

記 $X_1,\cdots,X_n$ 是 $X$ 的一組樣本。在觀測前，樣本 $X_1,\cdots,X_n$ 是隨機變量，在觀測後，樣本 $X_1,\cdots,X_n$ 是具體的值。

在數理統計的角度，我們希望通過樣本，來推斷原分布。充分統計量 Sufficient Statistic 作為統計量 Statistic 是定義在樣本空間上的可測函數，記作 $T(X_1,\cdots, X_2)$ 很多地方也直接寫作 $T(X)$ 。作為統計量，它縮減了原來隨機變量包含的信息。

比如說，求樣本均值時，樣本值的順序，是我們不關心的信息。

對於一組樣本，樣本本身會存在一個聯合概率密度函數，可以記作 $f(x)$ 。如果這個分布本身不存在參數（或參數已知），那麼這個函數本質上就刻畫了這一組樣本包含的所有信息。

上述的聯合概率密度函數，若存在未知的參數 $\theta$ ，則記作 $f(x;\theta)$ 或 $f_\theta(x)$ 。給定統計量 $T$ 的值 $T=t$ ，如果對應的條件分布 $F_\theta(X|T=t)$ 是一個與未知參數 $\theta$ 無關的分布（也就是說，是一個確定的分布）那麼這個統計量 $T$ 就是一個充分統計量 Sufficient Statistic

充分統計量，保留了關於參數 $\theta$ 的全部有用信息，消除了無用信息。

在充分統計量的基礎上，我們更近一步，介紹極小充分統計量 Minimum Sufficient Statistic。在直覺上，我們肯定希望充分統計量的形式越簡單越好，極小充分統計量的定義就是這麼來的。

如果 $T^\star = T^\star(X)$ 是一個充分統計量，對於任意的充分統計量 $T=T(X)$ ，存在可測函數 $\varphi$ ，使得 $T^\star = \varphi(T)$ 那麼， $T^\star$ 是極小充分統計量。

這個定義的邏輯在於：如果 $T^\star$ 是充分統計量，那麼 $T$ 一定是充分統計量。

導數與期望#

學習期望時，我們知道，求解期望是在算一個積分。但指數分布族的特殊性質能將期望與導數聯繫起來。而求導一般比積分簡單，因此我們會更喜歡導數。

我們對累積量生成函數 Cumulant Generating Function $A(\theta)$ 求一階導，可以得到充分統計量 $T$ 的期望。

\begin{align*} \frac{\partial A(\theta)}{\partial \theta^T} &= \frac{\partial}{\partial \theta^T}\left\{ \log \int_Xh(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x\right\} \\ &= \frac{\int_X T(x)h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x}{\int_Xh(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x} \\ &=\frac{1}{Z(\theta)} \int_X T(x)h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x\\ &=\int_X T(x)h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &=\int_X T(x)f_\mathbf{X}(x;\theta)~{\rm d}x \\ &=\mathbb E[T(X)] \end{align*}

這裡的公式比較繞，有幾個點需要注意：

為什麼對於 $\theta^T$ 求導？可以簡單理解成為了保證應用求導的鏈式法則時， $\langle\theta,T(x) \rangle$ 求導出來的東西是 $T(x)$ 而不是 $T(x)^T$
為什麼求導符號和積分符號可以換？這裡滿足勒貝格控制收斂定理 Dominated Convergence Theorem
為什麼式子裡又多出了個 $A(\theta)$ ？我們發現分母部分正好可以提出一個配分函數 $Z(\theta)$ ，這個量是與積分變量 $x$ 無關的，因此我們可以按照指數的運算法則，把它移進去。這一步可以參考上文的幾種等價形式那個小節。
最後一步怎麼變成期望的？因為 $f_\mathbf{X}(x;\theta)$ 是概率分布。

導數與方差#

對累積量生成函數 $A(\theta)$ 求二階導，可以得到充分統計量 $T$ 的方差。

\begin{align*} \frac{\partial}{\partial \theta}(\frac{\partial A(\theta)}{\partial \theta^T}) &= \frac{\partial}{\partial \theta} \int_X T(x)h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \int_X T(x)h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}\left(T(x)^T - \frac{\partial}{\partial \theta}A(\theta)\right)~{\rm d}x \\ &= \int_X T(x)\left(T(x) - \frac{\partial}{\partial \theta^T}A(\theta)\right)^T h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \int_X T(x)\left(T(x) - \mathbb E[T(X)]\right)^T h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \int_X T(x)T(x)^T h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &\quad- \mathbb E[T(X)]^T \int_X T(x) h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \mathbb E[T(X)T(X)^T]-\mathbb E[T(X)]\cdot\mathbb E[T(X)]^T \\ &= Var[T(X)] \end{align*}

與上一節類似，這裡也用到了導數積分互換，具體細節可以參看勒貝格控制收斂定理。

關於矩陣、向量的求導和轉置，可以參看博客園博客。博客以及文中的引用鏈接給出了詳細的解釋。

參數化#

所謂參數化 parameterization 意味著用參數來表示。

如果指數族的參數 $\theta$ 的元素是線性無關的，充分統計量 $T(x)$ 的元素也是線性無關的，那麼我們可以稱這個指數族為最小指數族 minimal exponential family

似乎沒有 minimal exponential family 的對應中文翻譯，所以粗暴字面翻譯最小指數族。但感覺翻譯成最簡指數族可能更加貼切一點。原因如下：
對於那些非 minimal 的指數族 (non-minimal) 的指數族，我們可以通過某種合適的參數替換或參數變換，得到一個最小指數族。

最小指數族對數配分函數 $A(\theta)$ 是嚴格的凸函數，滿足 Fenchel's inequality。在介紹 Fenchel 不等式之前，首先引入凸共軛。

參考維基百科
凸共軛 Convex Conjugate（也稱 Fenchel Conjugate）
對於原空間 $X$ 上的擴充實值函數 extended real-valued function

$f: X\rightarrow\mathbb R~\cup~\{-\infty, +\infty\}$

它在對偶空間 dual space $X^*$ 上的共軛函數 conjugate function 記作

$f^*=X^*\rightarrow\mathbb R~\cup~\{-\infty, +\infty\}$

我們定義對偶空間中的點 $x^*\in X^*$ 與原空間中的點 $x\in X$ 的對應關係是：

$f^*(x^*)=\sup\{\langle x^*,x\rangle-f(x)\}$

其中， $\sup$ 是 $\rm supremum$ ，即最小上界（上確界）。還有 $\inf (\rm infimum)$ 是最大下界（下確界）與 $\max \rm(maximum)$ 和 $\min (\rm minimum)$ 的區別在於：
CSDN 博客，知乎專欄

實值函數的必有上確界 / 下確界（一定能取到）。但不一定有最大值或最小值（可能最大 / 最小值點在定義上會取不到）。比如 $f(x)=\frac{\sin x}{x}$ 。

如果最大值 / 最小值能取到，就是上確界 / 下確界。

對於 $A(\theta)$ 來說，其凸共軛 $A^*(\theta^*)$ 是

A^*(\theta^*) = \sup\{\langle\theta^*,\theta\rangle-A(\theta)\}

我們定義 $\mu = \mathbb E[T(X)]$ ，於是 $\dfrac{\partial}{\partial\theta^T}\left(\langle\theta^*,\theta\rangle-A(\theta)\right) = \theta^*-\mu$ 。

因此，當 $\theta^*=\mu$ 時，導數值為零，取到上確界。對應凸共軛為 $A^*(\mu)=\langle\mu,\theta\rangle-A(\theta)$ ，稍作變形我們得到

A^*(\mu) +A(\theta) = \langle\mu,\theta\rangle

Fenchel 不等式 Fenchel's inequality
另一方面，根據 Fenchel 不等式，任意 $x\in X,~x^*\in X^*$ 有

f(x)+f^*(x^*)\geq\langle x^*, x\rangle

由於 $\mu\in\partial A(\theta)$ 上式取到等號。

均值表示法 指數族可以採用標準參數化 canonical parameterization 來表示，也可以以均值參數化 mean parameterization 來表示。因為 $\theta$ 與均值 $\mu$ 是一一對應的。即，既可以看做是 $\theta$ 的函數，也可以看做是均值 $\mu$ 的函數。

統計推斷#

最大似然估計求總體均值#

首先回顧一下最大似然估計 Maximum Likelihood Estimation 的理念。

有一個未知的分布，我們有一系列的樣本觀測值。於是我們要拿著這些樣本觀測值，去反猜最有可能的分布。這就出現了兩個問題：

模型確定嗎？一般為了簡化問題，會告知模型。實際問題中，如果沒有告知模型，可能需要逐個模型去嘗試。
參數確定嗎？參數是不確定的。如果模型已知，那麼一般操作是以這一組樣本觀測值去擬合模型，然後反推參數。

以最大似然估計求總體均值 $\mu$ 。步驟：

已知 n 次重複採樣的獨立同分布樣本觀測值構成集合 $\mathcal D=(x_1,x_2,\cdots,x_N)$
寫出似然函數。方法是直接把這些樣本值帶入概率密度函數，並將結果相乘。

L(\theta|\mathcal D) =\prod_{i=1}^N f(x_i;\theta) = \prod_{i=1}^N h(x_i)\exp\{\langle\eta(\theta), T(x_i)\rangle-A(\theta)\}

對似然函數取對數，並求導，得到 score function

\begin{align*} &l(\theta|\mathcal D) = \log L(\theta|\mathcal D) = \log\left(\prod_{i=1}^N h(x_i)\right) + \theta^T\left( \sum_{i=1}^N T(x_i) \right) - NA(\theta) \\ & \nabla_\theta l(\theta|\mathcal D)= \sum_{i=1}^N T(x_i) - N\nabla_\theta A(\theta) \end{align*}

令導數為 0，解似然方程。

\nabla_\theta l(\theta|\mathcal D) = 0 \quad \Longrightarrow \quad \nabla_\theta A(\hat\theta) = \frac1N\sum_{i=1}^N T(x_i)

最大似然估計，本質是讓似然函數取到極大值。但也有特殊情況：

如果對數似然函數單調，導致導數零點不存在

或由於樣本太少，導致導數零點雖然存在但取不到的情況發生

一般會取端點值。

我們定義總體均值 $\mu = \mathbb E[T(X)]$ ，結合上式，我們得到

\hat\mu_{MLE} = \mathbb E[T(X)] ~{\color{red} = }~ \nabla_\theta A(\hat\theta) = \frac1N\sum_{i=1}^N T(x_i)

這個等式（紅色等號）之所以能夠成立，我們在上面的導數與期望小節中已經證明。

$\hat\mu_{MLE}$ 是無偏的。因為

\mathbb E [\hat\mu_{MLE}] = \frac1N\sum_{i=1}^N\mathbb E[T(X_i)] = \frac1N N\mu = \mu

$\hat\mu_{MLE}$ 是有效的。可以證明 $\hat\mu_{MLE}$ 是最小方差無偏估計 uniformly minimum-variance unbiased estimator (UMVUE)

上面我們說到，對數似然函數的一階導數也稱為 score function 記作

\begin{align*} S(X;\theta) &= \nabla_\theta l(X;\theta) = \nabla_\theta\log L(X;\theta) = \nabla_\theta\log \prod_{i=1}^N f(x_i;\theta) \\ & = \sum_{i=1}^N T(x_i) - N\nabla_\theta A(\theta) \end{align*}

其中， $X$ 是樣本序列 $\{X_1,X_2,\cdots, X_n\}$ ，對應的樣本觀測值為 $\{x_1, x_2,\cdots,x_n\}$

參考知乎問答，我們引入費舍爾信息 Fisher Information。費舍爾信息是 score function 的二階矩 second moment。

I(\theta) = \mathbb E[S^2(X;\theta)]

Fisher Information 是用於衡量參數估計的精確度的。
N 次觀測得到的 Fisher Information 是單次觀測得到的 Fisher Information 的 N 倍。
後文中我們將以單次觀測的 Fisher Information 為例

score function 是關於 $\theta$ 的函數，顯然這個 fisher information 矩陣也是關於 $\theta$ 的。 參考維基百科和網絡博客易證明：

\begin{align*} \mathbb E[S(X;\theta)] & = \int_X S(X;\theta) f(x;\theta) ~{\rm d}x = \int_X\frac{\frac{\partial}{\partial \theta} f(x;\theta)}{f(x;\theta)}f(x;\theta) ~{\rm d}x\\ &=\color{red} \frac{\partial}{\partial \theta}\int_X f(x;\theta)~{\rm d}x = \frac{\partial}{\partial \theta} 1 = 0 \end{align*}

此處根據勒貝格收斂定理，導數與積分發生互換。
離散情況將積分號替換成求和即可。可能會產生一個 N 倍關係。

因此 $I(\theta) = \mathbb E[S^2(X;\theta)] - \mathbb E^2[S(X;\theta)] = Var[S(X;\theta)]$ 。即 fisher information 是 score function 的方差。

由於此處 $S(X;\theta)$ 是二階可導的，因此可以證明：

\begin{align*} \mathbb E[S^2(X;\theta)] =-\mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] \end{align*}

證明過程類似，由於

$\begin{align*} \mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] &= \int_X \frac{\partial^2}{\partial\theta^2}\log L(X;\theta)f(x;\theta)~{\rm d}x = \int_X\frac{\partial}{\partial\theta}S(X;\theta)f(x;\theta)~{\rm d}x \\ &=\int_X\frac{\partial}{\partial\theta}\left(\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}\right)f(x;\theta)~{\rm d}x\\ &=\int_X\left(\frac{\frac{\partial^2}{\partial\theta^2}f(x;\theta)}{f(x;\theta)}-\left(\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}\right)^2\right)f(x;\theta)~{\rm d}x \\ &={\color{red} 0}-\int_X\left(\frac{\partial}{\partial\theta}\log L(X;\theta)\right)^2 f(x;\theta)~{\rm d}x \\ &=-\int_X S^2(X;\theta)f(x;\theta)~{\rm d}x\\ &=-\mathbb E[S^2(X;\theta)] \end{align*}$

紅色部分積分為 0 是因為積分號與二階導互換後，求導得 0
離散情況將積分號替換成求和即可。可能會產生一個 N 倍關係。

我們於此總結一下 Fisher Information 的幾個等價替換式：

I(\theta) = \mathbb E[S^2(X;\theta)] = -\mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] = -\mathbb E\left[\frac{\partial}{\partial\theta}S(X;\theta)\right] = Var[S(X;\theta)]

另一方面，我們有 $L(\theta) = f_X(x;\theta) = h(x)\exp\{\langle\theta, T(x)\rangle-A(\theta)\}$
取對數然後求二階導後，我們得到：

\frac{\partial^2}{\partial\theta^2}\log L(X;\theta) = -\frac{\partial^2}{\partial\theta^2} A(\theta)

所以，可以得到：

I(\theta) = -\mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] = -\mathbb E\left[-\frac{\partial^2}{\partial\theta^2} A(\theta) \right] =Var[T(X)]

我們發現，自然參數 $\theta$ 的 Fisher Information 正好是充分統計量的方差 $Var[T(X)]$

另一方面，

【未完待續】