Sunforger

Sunforger

ホームアーカイブ

指数分布族初探

#概率统计#数学992
AI 翻訳
この記事はAIを通じて中国語から日本語に翻訳されました。原文を表示
AI が生成した要約
这段文本讲述了指数型分布族（Exponential Family）的相关内容。指数型分布族是统计中最重要的参数分布族之一，包括了正态分布、卡方分布、二项分布、多项分布、Poisson分布等常见分布。指数型分布族的概率密度函数可以表示为一个指数函数的形式，其中的参数可以是实数或向量。指数型分布族的形态会随着参数的变化而变化。文中还介绍了指数族的几种等价形式和规范形式，以及自然形式和自然参数空间的概念。

論文を読んで指数型分布族に関連する内容を整理しました。正確ではないかもしれませんが、皆さんのご指導をお願い申し上げます。

指数分布族 Exponential Family は、指数族、指数族分布とも呼ばれ、統計学において最も重要なパラメータ分布族です。

指数型分布族を学ぶ際には、指数分布 Exponential Distribution と区別する必要があります。両者は同じものではありません。

「族」とは、英語で family と呼ばれ、通常は類似の特徴を持つ一群を指します。指数型分布族は、確率密度関数と確率分布関数が分布パラメータの変化に伴って変化する一群の分布です。

一般的な指数型分布族には以下が含まれます：
正規分布、カイ二乗分布、二項分布、多項分布、ポアソン分布、パスカル分布、 β\beta 分布、 Γ\Gamma 分布、対数正規分布など。詳細はウィキペディアの項目や知乎のコラムを参照してください。

指数分布族#

指数型分布族 exponential family の確率密度関数は以下の形を持ちます：

fX(x;θ)=h(x)exp⁡{⟨η(θ),T(x)⟩−A(θ)}f_\mathbf{X}(x;\theta) = h(x)\exp\{\langle\eta(\theta), T(x)\rangle-A(\theta)\}

ここで、θ\theta は唯一のパラメータであり、上式を満たすすべての θ\theta がパラメータ空間 Θ\Theta を構成し、対応するパラメータ分布族 {Pθ:θ∈Θ}\{P_\theta:\theta\in\Theta\} は指数族です。ここでのパラメータ θ\theta は狭義の実数に限らず、nn 次元ベクトル θ∈Rn\theta\in \mathbb{R}^n であることにも注意が必要です。

パラメータ θ\theta が変化すると、分布 XX の形態（確率密度関数、確率分布関数および対応するグラフ）も変化します。確率変数 xx は分布 XX に従います。関数 T(x),h(x),η(θ),A(θ)T(x), h(x), \eta(\theta), A(\theta) はすべて既知の関数です。関数 h(x)h(x) は非負関数です。

h(x)h(x) は通常、基礎度量 base measure と呼ばれます。

T(x)T(x) は十分統計量 sufficient statistic です。

A(θ)A(\theta) は累積量生成関数 cumulant generating function または対数配分関数（配分関数の対数） log-partition function とも呼ばれます。明らかに A(θ)A(\theta) は実値関数であり、実数を返します。

ここで、η(θ)\eta(\theta) と T(x)T(x) は実数またはベクトルである可能性があります。

定義式からわかるように、指数関数の性質により exp⁡{⋅}=e{⋅}>0\exp\{\cdot\} = e^{\{\cdot\}} > 0 は非負です。したがって、指数族の支撑集は h(x)h(x) のみに依存します。つまり、xx のみに依存し、未知のパラメータ θ\theta には依存しません。この点を利用して、非指数型分布族（例えば均一分布）を排除できます。

ここで、支撑集の概念を簡単に補足する必要があります。簡単に言えば、実値関数 ff に対して、 ff の支撑集は次のように定義されます：

supp(f)={x∈X:f(x)≠0}\text{supp}(f)=\{x\in X:f(x)\neq0\}

支撑集は関数 ff の元の定義域 XX の部分集合です。詳細については、ウィキペディアの項目 や CSDN ブログ を参照してください。確率密度関数において、確率が非負であるため、確率変数の支撑集を次のように定義できます（見てください 知乎のコラム）：

supp(X)={x∈R:fX(x)>0}\text{supp}(X) =\{x\in R : f_X(x)\gt 0\}

いくつかの等価形式#

指数の演算則に基づき、等価変換を通じて指数族の 2 つの等価形式を示します：

fX(x;θ)=h(x)g(θ)exp⁡{⟨η(θ),T(x)⟩}f_\mathbf{X}(x;\theta) = h(x)g(\theta)\exp\{\langle\eta(\theta), T(x)\rangle\}

fX(x;θ)=exp⁡{⟨η(θ),T(x)⟩−A(θ)+B(x)}f_\mathbf{X}(x;\theta) = \exp\{\langle\eta(\theta), T(x)\rangle-A(\theta)+B(x)\}

対応する置換関係は：−A(θ)=ln⁡g(θ)-A(\theta) = \ln g(\theta)、B(x)=ln⁡h(x)B(x)=\ln h(x)

特に、Z(θ)=1g(θ)Z(\theta) = \dfrac{1}{g(\theta)} と取ることで、非常に一般的な指数族の表現を得ることができます。ここで Z(θ)Z(\theta) はこの分布の配分関数 partition function です。

fX(x;θ)=1Z(θ)h(x)exp⁡{⟨η(θ),T(x)⟩}f_\mathbf{X}(x;\theta) = \frac{1}{Z(\theta)}h(x)\exp\{\langle\eta(\theta), T(x)\rangle\}

規範形式#

上記の定義式において、η(θ)\eta(\theta) はパラメータ θ\theta に関する関数です。指数族においては、η(⋅)\eta(\cdot) が双射関数（すなわち一対一対応関数）であることを要求します。双射は関数が単調可微分であり、逆関数が存在することを意味します。

双射関数の特性を利用することで、指数族の形式を簡素化できます。θ^=η(θ)\hat\theta = \eta(\theta) とし、この変換は可逆であるため θ=η−1(θ^)\theta = \eta^{-1}(\hat\theta) となります。したがって、次のようになります：fX(x;θ^)=h(x)exp⁡{⟨θ^,T(x)⟩−A′(θ^)}f_\mathbf{X}(x;\hat\theta) = h(x)\exp\{\langle\hat\theta, T(x)\rangle-A^\prime(\hat\theta)\}

記号を等価に置き換えると、指数族の規範形式 Canonical Form は次のようになります：

fX(x;θ)=h(x)exp⁡{⟨θ,T(x)⟩−A(θ)}f_\mathbf{X}(x;\theta) = h(x)\exp\{\langle\theta, T(x)\rangle-A(\theta)\}

更新されたこのパラメータ θ\theta を指数族の規範パラメータ（または自然パラメータ）と呼びます。

自然形式#

定義上はそれぞれ異なる言い方がありますが、一般的には指数族の自然形式 Natural Form と規範形式は等しいかほぼ等しいと考えられています。例えば、スタンフォード大学の資料、バークレー大学の資料、マサチューセッツ工科大学の講義資料、ブログ、知乎コラム 1 および 知乎コラム 2 などがあります。

ウィキペディア では別の理解が提供されていますが、ここでは紹介しません。

自然パラメータ空間#

自然パラメータ空間 Natural Parameter Space を紹介する前に、対数配分関数 log-partition function A(θ)A(\theta) を紹介します。

A(θ)=log⁡(∫Xh(x)exp⁡{⟨θ,T(x)⟩} dx) A(\theta) = \log\left(\int_X h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x\right)

配分関数とは、正規化定数の特別な形式と理解できます。

対数配分関数 A(θ)A(\theta) により、fX(x;θ)f_\mathbf{X}(x;\theta) が正規化され、すなわち fX(x;θ)f_\mathbf{X}(x;\theta) が確率密度関数であることが保証されます。この正規化を理解するには、上記のいくつかの等価形式 の小節にあるこの表現を参照してください。

fX(x;θ)=1Z(θ)h(x)exp⁡{⟨η(θ),T(x)⟩}f_\mathbf{X}(x;\theta) = \frac{1}{Z(\theta)}h(x)\exp\{\langle\eta(\theta), T(x)\rangle\}

ここでZ(θ)=∫Xh(x)exp⁡{⟨θ,T(x)⟩} dxZ(\theta) = \int_X h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}xはxx に依存しない関数です。両辺の式を同時に積分すると、次のようになります。

∫XfX(x;θ)=1Z(θ)∫Xh(x)exp⁡{⟨η(θ),T(x)⟩}=1\int_Xf_\mathbf{X}(x;\theta) = \frac{1}{Z(\theta)}\int_X h(x)\exp\{\langle\eta(\theta), T(x)\rangle\} = 1

自然パラメータ空間とは、配分関数が有限 (<∞\lt \infty) となるときのパラメータ θ\theta の集合を指します。すなわち：

N={θ:∫Xh(x)exp⁡{⟨θ,T(x)⟩} dx<∞}={θ:Z(θ)<∞}\mathcal N = \left\{\theta:\int_X h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x \lt \infty\right\} = \left\{\theta:Z(\theta) \lt \infty\right\}

自然パラメータ空間には特別な性質があります。まず、自然パラメータ空間 N\mathcal N は凸集合 Convex Set であり、対数配分関数 A(θ)A(\theta) は凸関数 Convex Function です。証明は以下の通りです：

異なる 2 つのパラメータ θ1∈N, θ2∈N\theta_1\in\mathcal N,~\theta_2\in\mathcal N を考え、0<λ<10\lt\lambda\lt 1 を与えられたとき、θ=λθ1+(1−λ)θ2\theta=\lambda\theta_1+(1-\lambda)\theta_2 も自然パラメータ空間 N\mathcal N に属することを証明します（すなわち θ∈N\theta\in\mathcal N が成り立つことを証明します）。

Z(θ)=exp⁡{A(θ)}=exp⁡{A(λθ1+(1−λ)θ2)}=∫Xh(x)exp⁡{⟨(λθ1+(1−λ)θ2),T(x)⟩} dx=∫X(h(x)λexp⁡{⟨λθ1,T(x)⟩})(h(x)1−λexp⁡{⟨(1−λ)θ2,T(x)⟩}) dx≤(∫Xh(x)exp⁡{1λ⟨λθ1,T(x)⟩} dx)λ(∫Xh(x)exp⁡{11−λ⟨(1−λ)θ2,T(x)⟩} dx)1−λ=Z(θ1)λ⋅Z(θ2)1−λ\begin{aligned} Z(\theta) &= \exp\{A(\theta)\} = \exp\{A(\lambda\theta_1+(1-\lambda)\theta_2)\}\\ &=\int_X h(x)\exp\{\langle(\lambda\theta_1+(1-\lambda)\theta_2), T(x)\rangle\}~{\rm d}x \\ & = \int_X \left(h(x)^{\lambda}\exp\{\langle\lambda\theta_1, T(x)\rangle \}\right)\left(h(x)^{1-\lambda}\exp\{\langle(1-\lambda)\theta_2, T(x)\rangle\}\right)~{\rm d}x \\ &\leq \left(\int_X h(x)\exp\{\frac1\lambda\langle\lambda\theta_1, T(x)\rangle\} ~{\rm d}x \right)^\lambda \left(\int_X h(x)\exp\{\frac1{1-\lambda}\langle(1-\lambda)\theta_2, T(x)\rangle\} ~{\rm d}x \right)^{1-\lambda} \\ &=Z(\theta_1)^\lambda \cdot Z(\theta_2)^{1-\lambda} \end{aligned}

上式の ≤\leq はヘルダーの不等式 Hölder's inequality に由来し、その定義は Wolfram MathWorld や 知乎のコラム を参照してください。著名な数学ソフトウェア Mathematica は Wolfram Research 社によって開発されています。

θ1,θ2∈N\theta_1,\theta_2\in \mathcal N であるため、Z(θ1),Z(θ2)<∞Z(\theta_1),Z(\theta_2)\lt\infty が成り立ちます。したがって、Z(θ)=Z(θ1)λ⋅Z(θ2)1−λ<∞Z(\theta) = Z(\theta_1)^\lambda \cdot Z(\theta_2)^{1-\lambda} \lt \infty も成り立ち、定義により θ∈N\theta\in\mathcal N が得られます。これにより、自然パラメータ空間 N\mathcal N が凸集合であることが証明されます。

上式を対数を取ると、次のようになります：

A(θ)=A(λθ1+(1−λ)θ2)≤λA(θ1)+(1−λ)A(θ2)A(\theta) = A(\lambda\theta_1+(1-\lambda)\theta_2) \leq \lambda A(\theta_1) + (1-\lambda)A(\theta_2)

これにより、対数配分関数 A(θ)A(\theta) が凸関数であることが証明されます。θ1≠θ2\theta_1\neq\theta_2 の場合、Hölder's inequality は等号を取れず、A(θ)A(\theta) は厳密な凸関数です。

凸集合、凸関数の定義については、凸最適化のチュートリアル 知乎のコラム や凸最適化の古典的教科書 cvxbook by Stephen Boyd を参照してください。

指数分布族の例#

指数族の規範形式を振り返り、以下にいくつかの一般的な分布が指数族に属することを証明します。

fX(x;θ)=h(x)exp⁡{⟨θ,T(x)⟩−A(θ)}f_\mathbf{X}(x;\theta) = h(x)\exp\{\langle\theta, T(x)\rangle-A(\theta)\}

ベルヌーイ分布（2 点分布）#

ベルヌーイ分布の確率質量関数（ベルヌーイ分布は離散的であるため、確率質量関数です）は次のようになります：

p(x;λ)=λx⋅(1−λ)(1−x)p(x;\lambda) = \lambda^x\cdot (1-\lambda)^{(1-x)}

ここで、λ\lambda はこのベルヌーイ分布のパラメータ（事象が発生する確率）、x=0x =0 （事象が発生しない）、x=1x =1 （事象が発生する）です。他の xx の値は存在しません。

式を次のように書き換えます：

p(x;λ)=λx⋅(1−λ)(1−x)=exp⁡{log⁡(λ1−λ)x+log⁡(1−λ)}\begin{aligned} p(x;\lambda) &= \lambda^x\cdot (1-\lambda)^{(1-x)}\\ &\color{red}=\exp\left\{\log\left(\frac{\lambda}{1-\lambda}\right)x+\log(1-\lambda) \right\} \end{aligned}

次のように取ります：

θ=λ1−λ,T(x)=x,A(θ)=−log⁡(1−λ)=log⁡(1+eθ),h(x)=1\theta = \frac{\lambda}{1-\lambda}, \quad T(x)=x,\quad A(\theta) = -\log(1-\lambda) = \log(1+e^\theta),\quad h(x) = 1

これにより、ベルヌーイ分布は単一パラメータの指数族に属することが証明されます。

ポアソン分布#

ポアソン分布の確率質量関数は次のようになります：

p(x;λ)=λxe−λx!=1x!exp⁡{xlog⁡λ−λ}\begin{aligned} p(x;\lambda) &= \frac{\lambda^xe^{-\lambda}}{x!} \\ &\color{red} = \frac{1}{x!}\exp\{x\log\lambda-\lambda\} \end{aligned}

次のように取ります：

θ=log⁡λ,T(x)=x,A(θ)=λ=eθ,h(x)=1x!\theta = \log\lambda,\quad T(x) = x,\quad A(\theta)=\lambda=e^\theta,\quad h(x)=\frac{1}{x!}

これにより、ポアソン分布は単一パラメータの指数族に属することが証明されます。

ガウス分布（正規分布）#

ガウス分布の確率密度関数は次のようになります：

p(x;μ,σ2)=12πσexp⁡{−12σ2(x−μ)2}=12πexp⁡{μσ2x−12σ2x2−12σ2μ2−log⁡σ}\begin{aligned} p(x;\mu,\sigma^2) &= \frac{1}{\sqrt{2\pi}\sigma}\exp\left\{ -\frac{1}{2\sigma^2}(x-\mu)^2 \right\}\\ & \color{red}=\frac{1}{\sqrt{2\pi}}\exp\left\{ \frac{\mu}{\sigma^2}x-\frac{1}{2\sigma^2}x^2-\frac{1}{2\sigma^2}\mu^2-\log\sigma \right\} \end{aligned}

次のように取ります：

θ=[μ/σ2−1/2σ2],T(x)=[xx2],A(θ)=μ22σ2+log⁡σ=−θ124θ2−12log⁡(−2θ2),h(x)=12π\theta = \begin{bmatrix}\mu / \sigma^2 \\ \\ -1/2\sigma^2\end{bmatrix},\quad T(x) = \begin{bmatrix} x \\ \\ x^2\end{bmatrix},\quad A(\theta) = \frac{\mu^2}{2\sigma^2}+\log\sigma=-\frac{\theta_1^2}{4\theta_2}-\frac12\log(-2\theta_2),\quad h(x)=\frac{1}{\sqrt{2\pi}}

これにより、ガウス分布は多パラメータの指数族に属することが証明されます。

指数族の性質#

十分統計量#

十分統計量の理解については、この記事の他に 知乎のコラム や ブログ を参照してください。これらの資料は内容の理解に大いに役立ちます。この記事のノートの内容も、これらの資料から一部得られたものです。

X1,⋯ ,XnX_1,\cdots,X_n を XX の一組のサンプルとします。観測前、サンプル X1,⋯ ,XnX_1,\cdots,X_n は確率変数であり、観測後、サンプル X1,⋯ ,XnX_1,\cdots,X_n は具体的な値となります。

数理統計の観点から、我々はサンプルを通じて元の分布を推測したいと考えます。十分統計量 Sufficient Statistic は、統計量 Statistic であり、サンプル空間上の可測関数で、T(X1,⋯ ,X2)T(X_1,\cdots, X_2) と記述され、多くの場所では直接 T(X)T(X) と書かれます。統計量として、元の確率変数が含む情報を縮小します。

例えば、サンプル平均を求める際、サンプル値の順序は我々が関心を持たない情報です。

一組のサンプルに対して、サンプル自体は一つの結合確率密度関数を持ち、これを f(x)f(x) と記述します。この分布自体にパラメータが存在しない場合（またはパラメータが既知の場合）、この関数は本質的にこの一組のサンプルが含むすべての情報を描写します。

上記の結合確率密度関数に未知のパラメータ θ\theta が存在する場合、これを f(x;θ)f(x;\theta) または fθ(x)f_\theta(x) と記述します。統計量 TT の値 T=tT=t が与えられたとき、対応する条件分布 Fθ(X∣T=t)F_\theta(X|T=t) が未知のパラメータ θ\theta に依存しない分布（すなわち、確定した分布）であるならば、この統計量 TT は十分統計量 Sufficient Statistic です。

十分統計量は、パラメータ θ\theta に関するすべての有用な情報を保持し、無用な情報を排除します。

十分統計量に基づいて、さらに極小十分統計量 Minimum Sufficient Statistic を紹介します。直感的には、十分統計量の形式がシンプルであることを望むため、極小十分統計量の定義はこのように来ています。

もし T⋆=T⋆(X)T^\star = T^\star(X) が十分統計量であり、任意の十分統計量 T=T(X)T=T(X) に対して、可測関数 φ\varphi が存在し、T⋆=φ(T)T^\star = \varphi(T) であれば、 T⋆T^\star は極小十分統計量です。

この定義の論理は、もし T⋆T^\star が十分統計量であれば、TT も必ず十分統計量であるということです。

導関数と期待値#

期待値を学ぶ際、期待値を求めることは積分を計算することを意味します。しかし、指数分布族の特別な性質により、期待値と導関数が関連付けられます。導関数を求めることは一般に積分よりも簡単であるため、我々は導関数を好むことになります。

累積量生成関数 Cumulant Generating Function A(θ)A(\theta) の一階導関数を求めることで、十分統計量 TT の期待値を得ることができます。

∂A(θ)∂θT=∂∂θT{log⁡∫Xh(x)exp⁡{⟨θ,T(x)⟩} dx}=∫XT(x)h(x)exp⁡{⟨θ,T(x)⟩} dx∫Xh(x)exp⁡{⟨θ,T(x)⟩} dx=1Z(θ)∫XT(x)h(x)exp⁡{⟨θ,T(x)⟩} dx=∫XT(x)h(x)exp⁡{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)fX(x;θ) dx=E[T(X)]\begin{align*} \frac{\partial A(\theta)}{\partial \theta^T} &= \frac{\partial}{\partial \theta^T}\left\{ \log \int_Xh(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x\right\} \\ &= \frac{\int_X T(x)h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x}{\int_Xh(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x} \\ &=\frac{1}{Z(\theta)} \int_X T(x)h(x)\exp\{\langle\theta, T(x)\rangle\}~{\rm d}x\\ &=\int_X T(x)h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &=\int_X T(x)f_\mathbf{X}(x;\theta)~{\rm d}x \\ &=\mathbb E[T(X)] \end{align*}

ここでの公式は少し複雑で、いくつかの点に注意が必要です：

  1. なぜ θT\theta^T に対して導関数を求めるのか？これは、導関数の連鎖法則を適用する際に、 ⟨θ,T(x)⟩\langle\theta,T(x) \rangle の導関数が T(x)T(x) であり、T(x)TT(x)^T ではないことを保証するためです。
  2. なぜ導関数の記号と積分の記号を入れ替えられるのか？ここではレーベグの支配収束定理 Dominated Convergence Theorem が満たされます。
  3. なぜ式の中に A(θ)A(\theta) が追加されているのか？分母部分はちょうど配分関数 Z(θ)Z(\theta) を取り出すことができ、この量は積分変数 xx に依存しないため、指数の演算則に従って移動できます。このステップは上記のいくつかの等価形式 の小節を参照してください。
  4. 最後のステップが期待値に変わる理由は？fX(x;θ)f_\mathbf{X}(x;\theta) が確率分布であるためです。

導関数と分散#

累積量生成関数 A(θ)A(\theta) の二階導関数を求めることで、十分統計量 TT の分散を得ることができます。

∂∂θ(∂A(θ)∂θT)=∂∂θ∫XT(x)h(x)exp⁡{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)h(x)exp⁡{⟨θ,T(x)⟩−A(θ)}(T(x)T−∂∂θA(θ)) dx=∫XT(x)(T(x)−∂∂θTA(θ))Th(x)exp⁡{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)(T(x)−E[T(X)])Th(x)exp⁡{⟨θ,T(x)⟩−A(θ)} dx=∫XT(x)T(x)Th(x)exp⁡{⟨θ,T(x)⟩−A(θ)} dx−E[T(X)]T∫XT(x)h(x)exp⁡{⟨θ,T(x)⟩−A(θ)} dx=E[T(X)T(X)T]−E[T(X)]⋅E[T(X)]T=Var[T(X)]\begin{align*} \frac{\partial}{\partial \theta}(\frac{\partial A(\theta)}{\partial \theta^T}) &= \frac{\partial}{\partial \theta} \int_X T(x)h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \int_X T(x)h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}\left(T(x)^T - \frac{\partial}{\partial \theta}A(\theta)\right)~{\rm d}x \\ &= \int_X T(x)\left(T(x) - \frac{\partial}{\partial \theta^T}A(\theta)\right)^T h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \int_X T(x)\left(T(x) - \mathbb E[T(X)]\right)^T h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \int_X T(x)T(x)^T h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &\quad- \mathbb E[T(X)]^T \int_X T(x) h(x)\exp\{\langle\theta,T(x)\rangle - A(\theta)\}~{\rm d}x \\ &= \mathbb E[T(X)T(X)^T]-\mathbb E[T(X)]\cdot\mathbb E[T(X)]^T \\ &= Var[T(X)] \end{align*}

前のセクションと同様に、ここでも導関数と積分の入れ替えが用いられています。具体的な詳細はレーベグの支配収束定理を参照してください。

行列、ベクトルの導関数と転置については、ブログ園のブログ を参照してください。このブログおよび文中の引用リンクは詳細な説明を提供しています。

パラメータ化#

パラメータ化 parameterization とは、パラメータを用いて表現することを意味します。

もし指数族のパラメータ θ\theta の要素が線形独立であり、十分統計量 T(x)T(x) の要素も線形独立であるならば、この指数族を最小指数族 minimal exponential familyと呼びます。

最小指数族の対応する中国語の翻訳はないようですが、直訳すると最小指数族となります。しかし、最簡指数族と翻訳する方がより適切かもしれません。その理由は以下の通りです：
非最小指数族 (non-minimal) の指数族に対して、適切なパラメータ置換またはパラメータ変換を行うことで、最小指数族を得ることができます。

最小指数族の対数配分関数 A(θ)A(\theta) は厳密な凸関数であり、フェンシェルの不等式 Fenchel's inequality を満たします。フェンシェル不等式を紹介する前に、まず凸共役を導入します。

参考 ウィキペディア
凸共役 Convex Conjugate（フェンシェル共役とも呼ばれる）
元の空間 XX 上の拡張実値関数 extended real-valued function

f:X→R ∪ {−∞,+∞}f: X\rightarrow\mathbb R~\cup~\{-\infty, +\infty\}

の対偶空間 dual space X∗X^* 上の共役関数 conjugate function を次のように記述します：

f∗=X∗→R ∪ {−∞,+∞}f^*=X^*\rightarrow\mathbb R~\cup~\{-\infty, +\infty\}

対偶空間の点 x∗∈X∗x^*\in X^* と元の空間の点 x∈Xx\in X の対応関係は次のように定義されます：

f∗(x∗)=sup⁡{⟨x∗,x⟩−f(x)}f^*(x^*)=\sup\{\langle x^*,x\rangle-f(x)\}

ここで、sup⁡\sup は supremum\rm supremum、すなわち最小上界（上確界）を指します。また、inf⁡(infimum)\inf (\rm infimum) は最大下界（下確界）であり、max⁡(maximum)\max \rm(maximum) および min⁡(minimum)\min (\rm minimum) との違いは次の通りです：
CSDN ブログ、知乎のコラム

  1. 実値関数には必ず上確界 / 下確界が存在します（必ず取れる）。しかし、最大値または最小値が存在するとは限りません（最大 / 最小値の点が定義上取れない場合があります）。例えば f(x)=sin⁡xxf(x)=\frac{\sin x}{x} のように。
  2. 最大値 / 最小値が取れる場合、それは上確界 / 下確界です。

A(θ)A(\theta) に関して、その凸共役 A∗(θ∗)A^*(\theta^*) は次のようになります：

A∗(θ∗)=sup⁡{⟨θ∗,θ⟩−A(θ)}A^*(\theta^*) = \sup\{\langle\theta^*,\theta\rangle-A(\theta)\}

μ=E[T(X)]\mu = \mathbb E[T(X)] と定義すると、∂∂θT(⟨θ∗,θ⟩−A(θ))=θ∗−μ\dfrac{\partial}{\partial\theta^T}\left(\langle\theta^*,\theta\rangle-A(\theta)\right) = \theta^*-\mu となります。

したがって、θ∗=μ\theta^*=\mu のとき、導関数の値はゼロになり、上確界を取ります。対応する凸共役は A∗(μ)=⟨μ,θ⟩−A(θ)A^*(\mu)=\langle\mu,\theta\rangle-A(\theta) であり、少し変形すると次のようになります：

A∗(μ)+A(θ)=⟨μ,θ⟩A^*(\mu) +A(\theta) = \langle\mu,\theta\rangle

フェンシェル不等式 Fenchel's inequality
一方で、フェンシェル不等式により、任意の x∈X, x∗∈X∗x\in X,~x^*\in X^* に対して次のようになります：

f(x)+f∗(x∗)≥⟨x∗,x⟩f(x)+f^*(x^*)\geq\langle x^*, x\rangle

μ∈∂A(θ)\mu\in\partial A(\theta) の場合、上式は等号を取ります。

平均表示法 指数族は標準パラメータ化 canonical parameterization で表現することも、平均パラメータ化 mean parameterization で表現することもできます。なぜなら、θ\theta と平均 μ\mu は一対一対応しているからです。すなわち、θ\theta の関数として見ることも、平均 μ\mu の関数として見ることもできます。

統計的推論#

最大尤推定による母平均の推定#

まず、最大尤推定 Maximum Likelihood Estimation の理念を振り返ります。

ある未知の分布があり、一連のサンプル観測値があります。したがって、これらのサンプル観測値を用いて最も可能性の高い分布を推測します。これには 2 つの問題が生じます：

  1. モデルは確定していますか？一般的には問題を簡素化するためにモデルが告知されます。実際の問題では、モデルが告知されていない場合、個々のモデルを試す必要があるかもしれません。
  2. パラメータは確定していますか？パラメータは不確定です。モデルが既知であれば、一般的な操作はこの一組のサンプル観測値を用いてモデルをフィットさせ、その後パラメータを逆推定することです。

最大尤推定による母平均 μ\mu の推定。手順：

  1. nn 回の独立同分布サンプル観測値の集合 D=(x1,x2,⋯ ,xN)\mathcal D=(x_1,x_2,\cdots,x_N) が与えられます。
  2. 尤度関数を記述します。方法は、これらのサンプル値を確率密度関数に代入し、結果を掛け合わせることです。
L(θ∣D)=∏i=1Nf(xi;θ)=∏i=1Nh(xi)exp⁡{⟨η(θ),T(xi)⟩−A(θ)}L(\theta|\mathcal D) =\prod_{i=1}^N f(x_i;\theta) = \prod_{i=1}^N h(x_i)\exp\{\langle\eta(\theta), T(x_i)\rangle-A(\theta)\}
  1. 尤度関数の対数を取り、導関数を求めてスコア関数を得ます。
l(θ∣D)=log⁡L(θ∣D)=log⁡(∏i=1Nh(xi))+θT(∑i=1NT(xi))−NA(θ)∇θl(θ∣D)=∑i=1NT(xi)−N∇θA(θ)\begin{align*} &l(\theta|\mathcal D) = \log L(\theta|\mathcal D) = \log\left(\prod_{i=1}^N h(x_i)\right) + \theta^T\left( \sum_{i=1}^N T(x_i) \right) - NA(\theta) \\ & \nabla_\theta l(\theta|\mathcal D)= \sum_{i=1}^N T(x_i) - N\nabla_\theta A(\theta) \end{align*}
  1. 導関数を 0 に設定し、尤度方程式を解きます。
∇θl(θ∣D)=0⟹∇θA(θ^)=1N∑i=1NT(xi)\nabla_\theta l(\theta|\mathcal D) = 0 \quad \Longrightarrow \quad \nabla_\theta A(\hat\theta) = \frac1N\sum_{i=1}^N T(x_i)

最大尤推定は、本質的に尤度関数を最大化することです。しかし、特別な場合もあります：

  1. 対数尤度関数が単調で、導関数の零点が存在しない場合。
  2. または、サンプルが少なすぎて、導関数の零点が存在しても取れない場合。

一般的には端点値を取ります。

母平均 μ=E[T(X)]\mu = \mathbb E[T(X)] を定義し、上式を組み合わせると次のようになります。

μ^MLE=E[T(X)] = ∇θA(θ^)=1N∑i=1NT(xi)\hat\mu_{MLE} = \mathbb E[T(X)] ~{\color{red} = }~ \nabla_\theta A(\hat\theta) = \frac1N\sum_{i=1}^N T(x_i)

この等式（赤い等号）が成立する理由は、上記の導関数と期待値 の小節で既に証明されています。

μ^MLE\hat\mu_{MLE} は不偏です。なぜなら、

E[μ^MLE]=1N∑i=1NE[T(Xi)]=1NNμ=μ\mathbb E [\hat\mu_{MLE}] = \frac1N\sum_{i=1}^N\mathbb E[T(X_i)] = \frac1N N\mu = \mu

μ^MLE\hat\mu_{MLE} は効率的です。μ^MLE\hat\mu_{MLE} が最小分散不偏推定量 uniformly minimum-variance unbiased estimator (UMVUE) であることが証明できます。

上記で述べたように、対数尤度関数の一階導関数はスコア関数とも呼ばれ、次のように記述されます。

S(X;θ)=∇θl(X;θ)=∇θlog⁡L(X;θ)=∇θlog⁡∏i=1Nf(xi;θ)=∑i=1NT(xi)−N∇θA(θ)\begin{align*} S(X;\theta) &= \nabla_\theta l(X;\theta) = \nabla_\theta\log L(X;\theta) = \nabla_\theta\log \prod_{i=1}^N f(x_i;\theta) \\ & = \sum_{i=1}^N T(x_i) - N\nabla_\theta A(\theta) \end{align*}

ここで、 XX はサンプル系列 {X1,X2,⋯ ,Xn}\{X_1,X_2,\cdots, X_n\} であり、対応するサンプル観測値は {x1,x2,⋯ ,xn}\{x_1, x_2,\cdots,x_n\} です。

参考 知乎の質問 により、フィッシャー情報 Fisher Information を導入します。フィッシャー情報はスコア関数の二階モーメント second moment です。

I(θ)=E[S2(X;θ)]I(\theta) = \mathbb E[S^2(X;\theta)]

フィッシャー情報はパラメータ推定の精度を測るために使用されます。
N 回の観測によって得られるフィッシャー情報は、単回の観測によって得られるフィッシャー情報の N 倍です。
後文では単回観測のフィッシャー情報を例にします。

スコア関数は θ\theta に関する関数であり、明らかにこのフィッシャー情報行列も θ\theta に関するものです。 参考 ウィキペディア および ネットブログ により、次のように証明できます：

E[S(X;θ)]=∫XS(X;θ)f(x;θ) dx=∫X∂∂θf(x;θ)f(x;θ)f(x;θ) dx=∂∂θ∫Xf(x;θ) dx=∂∂θ1=0\begin{align*} \mathbb E[S(X;\theta)] & = \int_X S(X;\theta) f(x;\theta) ~{\rm d}x = \int_X\frac{\frac{\partial}{\partial \theta} f(x;\theta)}{f(x;\theta)}f(x;\theta) ~{\rm d}x\\ &=\color{red} \frac{\partial}{\partial \theta}\int_X f(x;\theta)~{\rm d}x = \frac{\partial}{\partial \theta} 1 = 0 \end{align*}

ここではレーベグの収束定理に基づき、導関数と積分が入れ替わっています。
離散の場合は、積分記号を和記号に置き換えればよいです。N 倍の関係が生じる可能性があります。

したがって、I(θ)=E[S2(X;θ)]−E2[S(X;θ)]=Var[S(X;θ)]I(\theta) = \mathbb E[S^2(X;\theta)] - \mathbb E^2[S(X;\theta)] = Var[S(X;\theta)] となります。すなわち、フィッシャー情報はスコア関数の分散です。

ここで S(X;θ)S(X;\theta) が二階可微分であるため、次のように証明できます：

E[S2(X;θ)]=−E[∂2∂θ2log⁡L(X;θ)]\begin{align*} \mathbb E[S^2(X;\theta)] =-\mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] \end{align*}

証明の過程は類似しており、次のようになります。

E[∂2∂θ2log⁡L(X;θ)]=∫X∂2∂θ2log⁡L(X;θ)f(x;θ) dx=∫X∂∂θS(X;θ)f(x;θ) dx=∫X∂∂θ(∂∂θf(x;θ)f(x;θ))f(x;θ) dx=∫X(∂2∂θ2f(x;θ)f(x;θ)−(∂∂θf(x;θ)f(x;θ))2)f(x;θ) dx=0−∫X(∂∂θlog⁡L(X;θ))2f(x;θ) dx=−∫XS2(X;θ)f(x;θ) dx=−E[S2(X;θ)]\begin{align*} \mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] &= \int_X \frac{\partial^2}{\partial\theta^2}\log L(X;\theta)f(x;\theta)~{\rm d}x = \int_X\frac{\partial}{\partial\theta}S(X;\theta)f(x;\theta)~{\rm d}x \\ &=\int_X\frac{\partial}{\partial\theta}\left(\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}\right)f(x;\theta)~{\rm d}x\\ &=\int_X\left(\frac{\frac{\partial^2}{\partial\theta^2}f(x;\theta)}{f(x;\theta)}-\left(\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}\right)^2\right)f(x;\theta)~{\rm d}x \\ &={\color{red} 0}-\int_X\left(\frac{\partial}{\partial\theta}\log L(X;\theta)\right)^2 f(x;\theta)~{\rm d}x \\ &=-\int_X S^2(X;\theta)f(x;\theta)~{\rm d}x\\ &=-\mathbb E[S^2(X;\theta)] \end{align*}

赤い部分の積分が 0 になるのは、積分記号と二階導関数が入れ替わった後、導関数を取ると 0 になるからです。
離散の場合は、積分記号を和記号に置き換えればよいです。N 倍の関係が生じる可能性があります。

ここでフィッシャー情報のいくつかの等価置換式をまとめます：

I(θ)=E[S2(X;θ)]=−E[∂2∂θ2log⁡L(X;θ)]=−E[∂∂θS(X;θ)]=Var[S(X;θ)]I(\theta) = \mathbb E[S^2(X;\theta)] = -\mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] = -\mathbb E\left[\frac{\partial}{\partial\theta}S(X;\theta)\right] = Var[S(X;\theta)]

一方で、L(θ)=fX(x;θ)=h(x)exp⁡{⟨θ,T(x)⟩−A(θ)}L(\theta) = f_X(x;\theta) = h(x)\exp\{\langle\theta, T(x)\rangle-A(\theta)\} です。対数を取り、二階導関数を求めると次のようになります：

∂2∂θ2log⁡L(X;θ)=−∂2∂θ2A(θ)\frac{\partial^2}{\partial\theta^2}\log L(X;\theta) = -\frac{\partial^2}{\partial\theta^2} A(\theta)

したがって、次のようになります：

I(θ)=−E[∂2∂θ2log⁡L(X;θ)]=−E[−∂2∂θ2A(θ)]=Var[T(X)]I(\theta) = -\mathbb E\left[\frac{\partial^2}{\partial\theta^2}\log L(X;\theta)\right] = -\mathbb E\left[-\frac{\partial^2}{\partial\theta^2} A(\theta) \right] =Var[T(X)]

自然パラメータ θ\theta のフィッシャー情報は、ちょうど十分統計量の分散 Var[T(X)]Var[T(X)] に等しいことがわかります。

一方で、

読み込み中...
文章は、創作者によって署名され、ブロックチェーンに安全に保存されています。