论文读到指数型分布族相关内容,遂做一个整理。不尽准确,望大佬们不吝指教。
指数分布族 Exponential Family 也称为指数族、指数族分布,是统计中最重要的参数分布族。
学习指数型分布族,应当与指数分布 Exponential Distribution 区分开来。两者并不是同一个东西。
所谓 “族”,英语里中称为 family,通常是具有相似特征的一类。指数型分布族是一组分布,其概率密度函数和概率分布函数随着分布参数的变化而变化。
常见的指数型分布族包括:
正态分布、卡方分布、二项分布、多项分布、Poisson 分布、Pascal 分布、 β分布、 Γ分布、对数正态分布等等。具体可见维基百科词条和知乎专栏。
指数分布族#
指数型分布族 exponential family 的概率密度函数有以下表现形式:
fX(x;θ)=h(x)exp{⟨η(θ),T(x)⟩−A(θ)}
其中,θ 是唯一的参数,满足上式的所有 θ 构成参数空间 Θ,对应的参数分布族 {Pθ:θ∈Θ} 是指数族。必须注意,这里的参数 θ 不局限于狭隘的实数,也可以是 n 维向量 θ∈Rn。
参数 θ 改变,分布 X 的形态(概率密度函数、概率分布函数以及对应的图像)也将改变。随机变量 x 服从于分布 X。函数 T(x),h(x),η(θ),A(θ) 都是已知函数。函数 h(x) 为非负函数。
h(x) 通常被称为是基础度量 base measure.
T(x) 是充分统计量 sufficient statistic.
A(θ) 是累积量生成函数 cumulant generating function 或称为对数配分函数(配分函数的对数) log-partition function 。显然 A(θ) 是实值函数,返回一个实数。
其中,η(θ) 与 T(x) 可以是实数,也可以是向量。
由定义式子可以看出,根据指数函数的性质 exp{⋅}=e{⋅}>0 是非负的。所以指数族的支撑集只与 h(x) 有关。也就是说,只与 x 有关,而与未知参数 θ 无关。我们利用这一点,可以排除非指数型分布族(比如均匀分布)。
这里需要简单补充一下所谓支撑集的概念。简单来说,对于实值函数 f 而言, f 的支撑集定义为:
supp(f)={x∈X:f(x)=0}
支撑集是函数 f 原定义域 X 的一个子集。了解更多,可以参考 维基百科词条 或 CSDN 博客。在概率密度函数中,由于概率非负,可以定义随机变量的支撑集为(见 知乎专栏):
supp(X)={x∈R:fX(x)>0}
几种等价形式#
基于指数的运算法则,通过等价变换,给出指数族的两种等价形式:
fX(x;θ)=h(x)g(θ)exp{⟨η(θ),T(x)⟩}
fX(x;θ)=exp{⟨η(θ),T(x)⟩−A(θ)+B(x)}
对应的替换关系是:−A(θ)=lng(θ),B(x)=lnh(x)
特别地,我们取 Z(θ)=g(θ)1, 可以得到另一中非常常见的指数族的表达式如下。其中 Z(θ) 是这个分布的配分函数 partition function。
fX(x;θ)=Z(θ)1h(x)exp{⟨η(θ),T(x)⟩}
规范形式#
上述定义式中,η(θ) 是关于参数 θ 的一个函数。在指数族中,我们要求 η(⋅) 是一个双射函数(也就是一一对应函数)。双射意味着函数单调可导,且存在反函数。
我们借助双射函数的特性,就可以简化指数族的形式。令 θ^=η(θ),当然,这个变化是可逆的 θ=η−1(θ^)。 于是,我们得到:fX(x;θ^)=h(x)exp{⟨θ^,T(x)⟩−A′(θ^)}
等价替换一下符号,我们得到指数族规范形式 Canonical Form 如下:
fX(x;θ)=h(x)exp{⟨θ,T(x)⟩−A(θ)}
我们通常把更新过后的这个参数 θ 称为指数族的规范参数(或自然参数)。
自然形式#
虽然在定义上各有各的说法,但一般认为指数族的自然形式 Natural Form 和规范形式两者等同或几乎等同。例如斯坦福大学材料,伯克利大学材料,麻省理工课件,博客,知乎专栏 1 以及 知乎专栏 2。
维基百科提供了另一种理解,这里不做介绍。
自然参数空间#
介绍自然参数空间 Natural Parameter Space 之前,我们首先介绍对数配分函数 log-partition function A(θ)
A(θ)=log(∫Xh(x)exp{⟨θ,T(x)⟩} dx)
所谓配分函数,可以理解为归一化常数的一种特殊形式。
对数配分函数 A(θ) 使得 fX(x;θ) 得以归一化,也就是说,保证了 fX(x;θ) 是一个概率密度函数。理解这个归一化,可以参考上文 几种等价形式 小节中的这个表达式
fX(x;θ)=Z(θ)1h(x)exp{⟨η(θ),T(x)⟩}
其中Z(θ)=∫Xh(x)exp{⟨θ,T(x)⟩} dx是与 x 无关的一个函数。然后把两边式子同时积分,得到
∫XfX(x;θ)=Z(θ)1∫Xh(x)exp{⟨η(θ),T(x)⟩}=1
所谓自然参数空间,就是使配分函数有限 (<∞) 时的参数 θ 的集合,即:
N={θ:∫Xh(x)exp{⟨θ,T(x)⟩} dx<∞}={θ:Z(θ)<∞}
自然参数空间有这一些特殊的性质。首先,自然参数空间 N 是一个凸集 Convex Set,对数配分函数 A(θ) 是一个凸函数 Convex Function。证明如下:
考虑两个不同的参数 θ1∈N, θ2∈N,给定 0<λ<1 证明 θ=λθ1+(1−λ)θ2 也在自然参数空间 N 内(即证明 θ∈N 也成立)
Z(θ)=exp{A(θ)}=exp{A(λθ1+(1−λ)θ2)}=∫Xh(x)exp{⟨(λθ1+(1−λ)θ2),T(x)⟩} dx=∫X(h(x)λexp{⟨λθ1,T(x)⟩})(h(x)1−λexp{⟨(1−λ)θ2,T(x)⟩}) dx≤(∫Xh(x)exp{λ1⟨λθ1,T(x)⟩} dx)λ(∫Xh(x)exp{1−λ1⟨(1−λ)θ2,T(x)⟩} dx)1−λ=Z(θ1)λ⋅Z(θ2)1−λ
上式中的 ≤ 来自于赫尔德不等式 Hölder's inequality 其定义可以参考 Wolfram MathWorld 或 知乎专栏。 值得一提的是,著名的数学软件 Mathematica 就是 Wolfram Research 公司开发的。
因为 θ1,θ2∈N 即 Z(θ1),Z(θ2)<∞ 成立。所以 Z(θ)=Z(θ1)λ⋅Z(θ2)1−λ<∞ 也成立,根据定义,即可得 θ∈N。于是可以证明自然参数空间 N 是一个凸集。
将上式取对数,得到:
A(θ)=A(λθ1+(1−λ)θ2)≤λA(θ1)+(1−λ)A(θ2)
于是可以证明,对数配分函数 A(θ) 是一个凸函数。当 θ1=θ2 时,Hölder's inequality 无法取到等号,A(θ) 是严格的凸函数。
关于凸集、凸函数的定义,可以参看凸优化教程 知乎专栏 或凸优化经典教材 cvxbook by Stephen Boyd
指数分布族实例#
回顾指数族的规范形式,下面我们证明几种常见的分布,属于指数族。
fX(x;θ)=h(x)exp{⟨θ,T(x)⟩−A(θ)}
伯努利分布(两点分布)#
伯努利分布的概率质量函数(伯努利分布是离散的,所以是概率质量函数)为:
p(x;λ)=λx⋅(1−λ)(1−x)
其中,λ 是这个伯努利分布的参数(事件发生的概率),x=0 (事件不发生),x=1 (事件发生)。不存在其他的 x 取值。
我们将式子改写:
p(x;λ)=λx⋅(1−λ)(1−x)=exp{log(1−λλ)x+log(1−λ)}
我们取
θ=1−λλ,T(x)=x,A(θ)=−log(1−λ)=log(1+eθ),h(x)=1
可证伯努利分布属于单参数指数族。
泊松分布#
泊松分布的概率质量函数如下:
p(x;λ)=x!λxe−λ=x!1exp{xlogλ−λ}
取
θ=logλ,T(x)=x,A(θ)=λ=eθ,h(x)=x!1
可证泊松分布属于单参数指数族。
高斯分布(正态分布)#
高斯分布的概率密度函数如下
p(x;μ,σ2)=2πσ1exp{−2σ21(x−μ)2}=2π1exp{σ2μx−2σ21x2−2σ21μ2−logσ}
取
θ=μ/σ2−1/2σ2,T(x)=xx2,A(θ)=2σ2μ2+logσ=−4θ2θ12−21log(−2θ2),h(x)=2π1
可证高斯分布属于多参数指数族。
指数族的性质#
充分统计量#
关于充分统计量的理解,在本文之外,还可以参看 知乎专栏 或 博客。这些材料对理解内容也会有很大帮助。本文的笔记内容,也部分来自于这些材料。
记 X1,⋯,Xn 是 X 的一组样本。在观测前,样本X1,⋯,Xn 是随机变量,在观测后,样本 X1,⋯,Xn 是具体的值。
在数理统计的角度,我们希望通过样本,来推断原分布。充分统计量 Sufficient Statistic 作为统计量 Statistic 是定义在样本空间上的可测函数,记作 T(X1,⋯,X2) 很多地方也直接写作 T(X)。作为统计量,它缩减了原来随机变量包含的信息。
比如说,求样本均值时,样本值的顺序,是我们不关心的信息。
对于一组样本,样本本身会存在一个联合概率密度函数,可以记作 f(x) 。如果这个分布本身不存在参数(或参数已知),那么这个函数本质上就刻画了这一组样本包含的所有信息。
上述的联合概率密度函数,若存在未知的参数 θ,则记作 f(x;θ) 或 fθ(x)。给定统计量 T 的值 T=t,如果对应的条件分布 Fθ(X∣T=t) 是一个与未知参数 θ 无关的分布(也就是说,是一个确定的分布)那么这个统计量 T 就是一个充分统计量 Sufficient Statistic
充分统计量,保留了关于参数 θ 的全部有用信息,消除了无用信息。
在充分统计量的基础上,我们更近一步,介绍极小充分统计量 Minimum Sufficient Statistic。在直觉上,我们肯定希望充分统计量的形式越简单越好,极小充分统计量的定义就是这么来的。
如果 T⋆=T⋆(X) 是一个充分统计量,对于任意的充分统计量 T=T(X),存在可测函数 φ,使得 T⋆=φ(T) 那么, T⋆ 是极小充分统计量。
这个定义的逻辑在于:如果 T⋆ 是充分统计量,那么 T 一定是充分统计量。
导数与期望#
学习期望时,我们知道,求解期望是在算一个积分。但指数分布族的特殊性质能将期望与导数联系起来。而求导一般比积分简单,因此我们会更喜欢导数。
我们对累积量生成函数 Cumulant Generating Function A(θ) 求一阶导,可以得到充分统计量 T 的期望。
∂θT∂A(θ)=∂θT∂{log∫Xh(x)exp{⟨θ,T(x)⟩} dx}=∫Xh(x)exp{⟨θ,T(x)⟩} dx∫XT(x)h(x)exp{⟨θ,T(x)⟩} dx=Z(θ)1∫XT(x)h(x)exp{⟨θ,T(x)⟩} dx=∫XT(x)h(x)exp{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)fX(x;θ) dx=E[T(X)]
这里的公式比较绕,有几个点需要注意:
- 为什么对于 θT 求导?可以简单理解成为了保证应用求导的链式法则时, ⟨θ,T(x)⟩ 求导出来的东西是 T(x) 而不是 T(x)T
- 为什么求导符号和积分符号可以换?这里满足勒贝格控制收敛定理 Dominated Convergence Theorem
- 为什么式子里又多出了一个 A(θ) ?我们发现分母部分正好可以提出一个配分函数 Z(θ),这个量是与积分变量 x 无关的,因此我们可以按照指数的运算法则,把它移进去。这一步可以参考上文的 几种等价形式 那个小节。
- 最后一步怎么变成期望的?因为 fX(x;θ) 是概率分布。
导数与方差#
对累积量生成函数 A(θ) 求二阶导,可以得到充分统计量 T 的方差。
∂θ∂(∂θT∂A(θ))=∂θ∂∫XT(x)h(x)exp{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)h(x)exp{⟨θ,T(x)⟩−A(θ)}(T(x)T−∂θ∂A(θ)) dx=∫XT(x)(T(x)−∂θT∂A(θ))Th(x)exp{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)(T(x)−E[T(X)])Th(x)exp{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)T(x)Th(x)exp{⟨θ,T(x)⟩−A(θ)} dx−E[T(X)]T∫XT(x)h(x)exp{⟨θ,T(x)⟩−A(θ)} dx=E[T(X)T(X)T]−E[T(X)]⋅E[T(X)]T=Var[T(X)]
与上一节类似,这里也用到了导数积分互换,具体细节可以参看勒贝格控制收敛定理。
关于矩阵、向量的求导和转置,可以参看 博客园博客 。博客以及文中的引用链接给出了详细的解释。
参数化#
所谓参数化 parameterization 意味着用参数来表示。
如果指数族的参数 θ 的元素是线性无关的,充分统计量 T(x) 的元素也是线性无关的,那么我们可以称这个指数族为最小指数族 minimal exponential family
似乎没有 minimal exponential family 的对应中文翻译,所以粗暴字面翻译最小指数族。但感觉翻译成最简指数族可能更加贴切一点。原因如下:
对于那些非 minimal 的指数族 (non-minimal) 的指数族,我们可以通过某种合适的参数替换或参数变换,得到一个最小指数族。
最小指数族对数配分函数 A(θ) 是严格的凸函数,满足 Fenchel's inequality。在介绍 Fenchel 不等式之前,首先引入凸共轭。
参考 维基百科
凸共轭 Convex Conjugate(也称 Fenchel Conjugate)
对于原空间 X 上的扩充实值函数 extended real-valued function
f:X→R ∪ {−∞,+∞}
它在对偶空间 dual space X∗ 上的共轭函数 conjugate function 记作
f∗=X∗→R ∪ {−∞,+∞}
我们定义对偶空间中的点 x∗∈X∗ 与原空间中的点 x∈X 的对应关系是:
f∗(x∗)=sup{⟨x∗,x⟩−f(x)}
其中,sup 是 supremum,即最小上界(上确界)。还有 inf(infimum) 是最大下界(下确界)与 max(maximum) 和 min(minimum) 的区别在于:
CSDN 博客,知乎专栏
- 实值函数的必有上确界 / 下确界(一定能取到)。但不一定有最大值或最小值(可能最大 / 最小值点在定义上会取不到)。比如 f(x)=xsinx。
- 如果最大值 / 最小值能取到,就是上确界 / 下确界。
对于 A(θ) 来说,其凸共轭 A∗(θ∗) 是
A∗(θ∗)=sup{⟨θ∗,θ⟩−A(θ)}
我们定义 μ=E[T(X)],于是 ∂θT∂(⟨θ∗,θ⟩−A(θ))=θ∗−μ 。
因此,当 θ∗=μ 时,导数值为零,取到上确界。对应凸共轭为 A∗(μ)=⟨μ,θ⟩−A(θ),稍作变形我们得到
A∗(μ)+A(θ)=⟨μ,θ⟩
Fenchel 不等式 Fenchel's inequality
另一方面,根据 Fenchel 不等式,任意 x∈X, x∗∈X∗ 有
f(x)+f∗(x∗)≥⟨x∗,x⟩
由于 μ∈∂A(θ) 上式取到等号。
均值表示法 指数族可以采用标准参数化 canonical parameterization 来表示,也可以以均值参数化 mean parameterization 来表示。因为 θ 与均值 μ 是一一对应的。即,既可以看做是 θ 的函数,也可以看做是均值 μ 的函数。
统计推断#
最大似然估计求总体均值#
首先回顾一下最大似然估计 Maximum Likelihood Estimation 的理念。
有一个未知的分布,我们有一系列的样本观测值。于是我们要拿着这些样本观测值,去反猜最有可能的分布。这就出现了两个问题:
- 模型确定吗?一般为了简化问题,会告知模型。实际问题中,如果没有告知模型,可能需要逐个模型去尝试。
- 参数确定吗?参数是不确定的。如果模型已知,那么一般操作是以这一组样本观测值去拟合模型,然后反推参数。
以最大似然估计求总体均值 μ 。步骤:
- 已知 n 次重复采样的独立同分布样本观测值构成集合 D=(x1,x2,⋯,xN)
- 写出似然函数。方法是直接把这些样本值带入概率密度函数,并将结果相乘。
L(θ∣D)=i=1∏Nf(xi;θ)=i=1∏Nh(xi)exp{⟨η(θ),T(xi)⟩−A(θ)}
- 对似然函数取对数,并求导,得到 score function
l(θ∣D)=logL(θ∣D)=log(i=1∏Nh(xi))+θT(i=1∑NT(xi))−NA(θ)∇θl(θ∣D)=i=1∑NT(xi)−N∇θA(θ)
- 令导数为 0,解似然方程。
∇θl(θ∣D)=0⟹∇θA(θ^)=N1i=1∑NT(xi)
最大似然估计,本质是让似然函数取到极大值。但也有特殊情况:
- 如果对数似然函数单调,导致导数零点不存在
- 或由于样本太少,导致导数零点虽然存在但取不到的情况发生
一般会取端点值。
我们定义总体均值 μ=E[T(X)],结合上式,我们得到
μ^MLE=E[T(X)] = ∇θA(θ^)=N1i=1∑NT(xi)
这个等式(红色等号)之所以能够成立,我们在上面的 导数与期望 小节中已经证明。
μ^MLE 是无偏的。因为
E[μ^MLE]=N1i=1∑NE[T(Xi)]=N1Nμ=μ
μ^MLE 是有效的。可以证明 μ^MLE 是最小方差无偏估计 uniformly minimum-variance unbiased estimator (UMVUE)
上面我们说到,对数似然函数的一阶导数也称为 score function 记作
S(X;θ)=∇θl(X;θ)=∇θlogL(X;θ)=∇θlogi=1∏Nf(xi;θ)=i=1∑NT(xi)−N∇θA(θ)
其中, X 是样本序列 {X1,X2,⋯,Xn},对应的样本观测值为 {x1,x2,⋯,xn}
参考 知乎问答,我们引入费舍尔信息 Fisher Information。费舍尔信息是 score function 的二阶矩 second moment。
I(θ)=E[S2(X;θ)]
Fisher Information 是用于衡量参数估计的精确度的。
N 次观测得到的 Fisher Information 是单次观测得到的 Fisher Information 的 N 倍。
后文中我们将以单次观测的 Fisher Information 为例
score function 是关于 θ 的函数,显然这个 fisher information 矩阵也是关于 θ 的。 参考 维基百科 和 网络博客 易证明:
E[S(X;θ)]=∫XS(X;θ)f(x;θ) dx=∫Xf(x;θ)∂θ∂f(x;θ)f(x;θ) dx=∂θ∂∫Xf(x;θ) dx=∂θ∂1=0
此处根据勒贝格收敛定理,导数与积分发生互换。
离散情况将积分号替换成求和即可。可能会产生一个 N 倍关系。
因此 I(θ)=E[S2(X;θ)]−E2[S(X;θ)]=Var[S(X;θ)]。即 fisher information 是 score function 的方差。
由于此处 S(X;θ) 是二阶可导的,因此可以证明:
E[S2(X;θ)]=−E[∂θ2∂2logL(X;θ)]
证明过程类似,由于
E[∂θ2∂2logL(X;θ)]=∫X∂θ2∂2logL(X;θ)f(x;θ) dx=∫X∂θ∂S(X;θ)f(x;θ) dx=∫X∂θ∂(f(x;θ)∂θ∂f(x;θ))f(x;θ) dx=∫Xf(x;θ)∂θ2∂2f(x;θ)−(f(x;θ)∂θ∂f(x;θ))2f(x;θ) dx=0−∫X(∂θ∂logL(X;θ))2f(x;θ) dx=−∫XS2(X;θ)f(x;θ) dx=−E[S2(X;θ)]
红色部分积分为 0 是因为积分号与二阶导互换后,求导得 0
离散情况将积分号替换成求和即可。可能会产生一个 N 倍关系。
我们于此总结一下 Fisher Information 的几个等价替换式:
I(θ)=E[S2(X;θ)]=−E[∂θ2∂2logL(X;θ)]=−E[∂θ∂S(X;θ)]=Var[S(X;θ)]
另一方面,我们有 L(θ)=fX(x;θ)=h(x)exp{⟨θ,T(x)⟩−A(θ)}
取对数然后求二阶导后,我们得到:
∂θ2∂2logL(X;θ)=−∂θ2∂2A(θ)
所以,可以得到:
I(θ)=−E[∂θ2∂2logL(X;θ)]=−E[−∂θ2∂2A(θ)]=Var[T(X)]
我们发现,自然参数 θ 的 Fisher Information 正好是充分统计量的方差 Var[T(X)]
另一方面,
【未完待续】