ガンマ分布
Jikao
2023-03-04
ガンマ関数
ガンマ関数は、次式で定義される。
\[ \Gamma(n) = \int_0^\infty{}y^{(n-1)}e^{-y}dy \]
ガンマ関数と階乗の関係
\[ \Gamma(n) = (n-1)! \]
まずは、\(n=0\)で数式が成立することを確認する。
\[\begin{eqnarray} \Gamma(1) &=& \int_0^\infty{}e^{-y}dy\\ &=& \lim_{t\rightarrow\infty}\int_0^te^{-y}dy\\ &=& \lim_{t\rightarrow\infty}(1-e^t)\\ &=& 1 \end{eqnarray}\]より正しい。
部分積分を用いると、\(n\in\mathbb{Z}\)では(\(\mathbb{Z}\)は整数全体の集合を表す。\(n\)が整数の場合は、と同意。)、
\[\begin{eqnarray} \Gamma(n) &=& \int_0^\infty{}y^{(n-1)}e^{-y}dy\\ &=& \int_0^\infty{}y^{(n-1)}(-e^{-y})dy\\ &=& -\left[y^{(n-1)}e^{-y}\right]_0^\infty + \int_0^\infty{}(n-2)y^{(n-2)}e^{-y}dy\\ &=& (n-1)\int_0^\infty{}y^{(n-2)}(-e^{-y})dy\\ &=& (n-1)\Gamma(n-1) \end{eqnarray}\]より、\(n=0\)の結果と合わせて考えると、\(\Gamma(n) = (n-1)!\)となる。
ガンマ関数の性質
前項で紹介した性質の他に、ガンマ関数にはもう一つ興味深い等式が知られている。
\[ \Gamma(\frac{1}{2}) = \sqrt{\pi} \]
証明には\(N(0,1)\)に従う 正規分布 の確率密度関数\(f(z)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\)を用いる。
全事象の確率は1であることから、
\[\begin{eqnarray} 1 &=& \frac{1}{\sqrt{2\pi}}\int_\mathbb{R}e^{-\frac{z^2}{2}}dz\\ &=& \frac{1}{\sqrt{2\pi}} \left\{ \int_{-\infty}^{0}e^{-\frac{z^2}{2}}dz + \int_{0}^{\infty}e^{-\frac{z^2}{2}}dz \right\} \end{eqnarray}\]ただし、\(\int_{\mathbb{R}}\)は実数の全範囲で積分することを表し、\(\int_{\mathbb{R}} = \int_{-\infty}^{\infty}\)である。
次に、\(z^2=y\)で置換積分する。\(z\)の正負で場合分けして、
\[\begin{align} z= \begin{cases} \sqrt{y}&(z\geq0)\\ -\sqrt{y}&(z\leq0)\\ \end{cases} \end{align}\]従って
\[\begin{align} \frac{dz}{dy}= \begin{cases} \dfrac{1}{2\sqrt{y}}&(z\geq0)\\ -\dfrac{1}{2\sqrt{y}}&(z\leq0)\\ \end{cases} \end{align}\]となる。\(z^2=y\)への置換で積分区間が変化することに注意して、
\[\begin{eqnarray} 1 &=& \frac{1}{\sqrt{2\pi}} \left\{ \int_{\infty}^{0}e^{-\frac{y}{2}}(-\frac{1}{2\sqrt{y}})dy + \int_{0}^{\infty}e^{-\frac{y}{2}}\frac{1}{2\sqrt{y}}dy \right\}\\ &=& \frac{1}{\sqrt{2\pi}}\int_{0}^{\infty}e^{-\frac{y}{2}}\frac{1}{\sqrt{y}}dy\\ &=& \frac{\Gamma(\frac{1}{2})}{\sqrt{\pi}} \int_{0}^{\infty}\frac{1}{\Gamma(\frac{1}{2})}(\frac{1}{2}) (\frac{y}{2})^{-\frac{1}{2}}e^{-\frac{y}{2}}dy \end{eqnarray}\]右側の広義積分は、\(Ga(\dfrac{1}{2}, 2)\)に従う確率密度関数の正数総和であるため、（確率の総和）1になる。したがって、
\[ 1=\frac{\Gamma(\frac{1}{2})}{\sqrt{\pi}}\Leftrightarrow\\ \Gamma(\frac{1}{2}) = \sqrt{\pi} \]
より題意は示された。
レオンハルト・オイラーは如何にして一般の定義を考え付いたか？
ガンマ関数は1729年にオイラーによって発表された。階乗の定義からは簡単に考え付かないような形をしているが、オイラーはどのようにして着想を得たのだろうか。
ある関数\(f(x)\)に関して、\(\mathcal{L}(f(x))=\int_0^\infty{}f(x)e^{-sx}dx\)は\(s\)の関数であり、この変換をラプラス変換という。\(\mathcal{L}\)は、関数を変数に取る関数(関数の関数)であり、汎関数と呼ばれる。 ここ では、ガンマ関数とラプラス変換の関連性が示されている。
\(f(x)=x^n\)のときのラプラス変換\(\mathcal{L}(x^n)\)に階乗が出現する。
\[ \mathcal{L}(x^n)=\frac{n!}{s^{(n + 1)}} \] 部分積分を用いて簡単に証明できる。
\[\begin{eqnarray} \mathcal{L}(x^n) &=& \int_0^\infty{}x^ne^{-sx}dx\\ &=& \int_0^\infty{}x^n(-\frac{e^{-sx}}{s})'dx\\ &=& -\frac{1}{s}\left[x^ne^{-sx}\right]_0^{\infty} + \int_0^\infty{}nx^{(n-1)}(\frac{e^{-sx}}{s})dx\\ &=& \frac{n}{s}\int_0^\infty{}x^{(n-1)}e^{-sx}dx \end{eqnarray}\]ここに、\(\int_0^\infty{}x^ne^{-sx}dx\)を\(I_n\)とおくと、
\[ I_n = \frac{n}{s}I_{n-1} \]
\(I_0=\dfrac{1}{s}\)より、
\[\begin{eqnarray} I_n &=& \frac{n}{s}\frac{n-1}{s}\dots\frac{2}{s}\frac{1}{s}\frac{1}{s}\\ &=& \frac{n!}{s^{n+1}} \end{eqnarray}\]\(s=1\)と置けば、ガンマ関数の定義\(\Gamma(n) = \int_0^\infty{}y^{(n-1)}e^{-y}dy\)を得る。
しかし、ラプラス変換は1899年にオリヴァー・ヘヴィサイドによって考案されたものであり、ガンマ関数の発見よりも後である(電気回路の登場によって発展した、比較的新しい数学的概念だ！)。オイラーがこの変換からガンマ関数の着想を得たとは考えにくい。
知恵●袋にオイラーおった
ここ で導出の背景はこうではないか、という考察が示されている。
まず、ガンマ関数の条件として、
\[ \Gamma(x) = x\Gamma(x-1) \]
を想定する。\(x!\)では厳しすぎて導出が難しいためである。
階乗が初等関数の組み合わせでは記述できないだろうという予想から、ガンマ関数の形として限定的に積分関数を想定する。また、このような命題を示すことができそうなのは部分積分しかなさそう(これまでの証明の過程を見ても明らかだろう)なので、ガンマ関数は以下の式のようになるだろう。
\[\begin{eqnarray} \Gamma(x) &=& \int_a^bf(s)g(s,x)ds\\ &=& \left[F(s)g(s,x)\right]_a^b - \int_a^bF(s)g'(s,x)ds\\ \end{eqnarray}\]ここで、階乗は1大きい自然数の掛け合わせなので、部分積分のたびに項が増えるのはありがたくない。そこで、定積分項が0になるように、\(F(a)g(a,x)=0\)及び\(F(b)g(b,x)=0\)を要請する。この条件は後で積分範囲(\(a\)と\(b\)のこと)を確定させるために用いる。
また、\(f(s)\)も、積分のたびに複雑になるような関数は好ましくない。\(f(s)=e^{-s}\)とすれば、繰り返し積分しても対して煩雑にならない上に、部分積分で生じるマイナスを打ち消すことができて都合がいい。\(f(s)=e^{-s}\)ならば、\(\displaystyle\lim_{s\rightarrow\infty}f(s)=0\)を満たすので、\(s\)の積分区間上端は\(\infty\)とするのがいいだろう。
さらに、\(g(s,x)\)に関して、微分すると\(x\)と\(g(s,x-1)\)が出現すれば、階乗の性質を実現できそうである。すなわち、
\[ \frac{\partial}{\partial{}s}g(s,x) = xg(s,x-1) \]
であるが、これを満たす関数をすでに我々は知っている…、\(s\)についてのx次関数\(g(s,x) = s^x\)ではないか！(両辺を微分して実際に条件を満たすことを確認されたい。)\(g(s, x)\)がこのように定義できるのであれば、積分区間の下端を0とすれば前述の条件を満たしそうである。
よって、位相のずれを修正して
\[ \Gamma(x) = \int_0^{\infty}s^{(x-1)}e^{-s}ds \]
となる。 知恵袋の回答 は非常に簡潔に、わかりやすくまとめられているので読んでみてほしい。オイラー天才！
ガンマ分布
確率変数\(X\)次の確率密度関数\(f(x)\)に従うとき、\(X\)の分布をガンマ分布といい、\(X\sim{}Ga(\alpha, \lambda)\)と表記する。
\[ f(x) = \frac{\lambda(x\lambda)^{\alpha-1}e^{x\lambda}}{\Gamma(\alpha)} \]
このとき、\(\dfrac{1}{\beta}=\lambda\)とおく場合もあり、そのときは確率密度関数が以下のように表される（なぜか2パターンある。混乱するので無駄にパターンを増やすのはやめてほしいものだ。）。この2式はパラメーターのおき方の問題で、全く違いがないので、好きな方を覚えたらいいだろう。久保川(2017)は下の書き方を採用しており、上の定義は私が勝手に変形したものなので注意されたい。
\[ f(x) = \frac{1}{\Gamma(\alpha)}\frac{1}{\beta}(\frac{x}{\beta})^{\alpha-1}e^{-\frac{x}{\beta}} \]
ガンマ分布に従う確率変数の例として、以下のようなものが挙げられる。
・ある電子部品が壊れるまでの時間（部品の寿命）
・あるWebシステムがダウンするまでの待ち時間
・イオンが何個か決められた数結合すると、構造が変化するタンパク質の変化待ち時間
期間\(\beta\)ごとに1回くらい起こる事象が合計\(\alpha\)回起こるまでの待ち時間を表している。単位時間当たり\(\lambda\)回起こる事象が…、と言い換えてもいい。
ガンマ分布導出の背景
ポアソン分布 の場合は、確率変数が回数を表したが、今回のガンマ分布は確率変数が待ち時間である。したがって、確率密度関数はポアソン分布から導く。確率密度関数自体はいかつい形をしているが、導出は案外簡単で、あっけなく終わる。
まず、ガンマ分布の確率密度関数を導出するために累積確率関数を考える。この累積確率関数を微分し、整理することで最終的に先ほど示した確率密度関数を導出することができる。
ガンマ関数の累積確率関数とは、単位時間当たり\(\lambda\)回起こる事象が\(\alpha\)回以上起こる確率である。\(\alpha\)回未満では、ガンマ分布の条件を満たさないことに注意されたい。先に示したタンパク質の構造変化を考えていただければわかりやすい。イオンの結合が\(\alpha\)回未満では、タンパク質の変性は起こらない。したがって、タンパク質の変性が起こるのは、逆に起こらない時の余事象を考えればよい。累積確率関数\(D(x)\)は、事象が\(k=0,1,\dots\alpha - 1\)回起こるときの確率を用いて、
\[ D(x) = 1 - P(x|k = 0,1,\dots,\alpha - 1) \]
のように記述できる。ただし、式の中のパイプ（\(|\)）は、条件を表す。\(k=0,1,\dots,\alpha - 1\)の条件を満たすときの、\(P(x)\)という意味である。
単位時間あたりに\(\lambda\)回起こる事象が\(x\)時間の間に\(k\)回起こる確率は、ポアソン分布を用いて以下のように記述できる。
\[ P(x|k) = \frac{(\lambda{}x)^ke^{\lambda{}x}}{k!} \]
ポアソン分布の確率密度関数において、\(x\rightarrow{}k\)、\(\lambda\rightarrow\lambda{}x\)となっている点に注意されたい。\(\lambda\rightarrow\lambda{}x\)は、単位時間\(\lambda\)で起こる事象は\(x\)時間では単純に\(x\)倍起きやすくなっているだろうから、パラメーター\(\lambda\)を\(x\)倍してやろうという考え方である。
従って、\(D(x)\)は
\[\begin{eqnarray} D(x) &=& 1 - \sum_{k=0}^{\alpha-1}\frac{(\lambda{}x)^ke^{-\lambda{}x}}{k!}\\ &=& 1 - e^{-\lambda{}x}\sum_{k=0}^{\alpha-1}\frac{(\lambda{}x)^k}{k!} \end{eqnarray}\]微分して確率密度関数\(f(x)\)に直すと
\[\begin{eqnarray} f(x) &=& \lambda{}e^{-\lambda{}x}\sum_{k=0}^{\alpha-1}\frac{(\lambda{}x)^k}{k!} - e^{\lambda{}x}\sum_{k=0}^{\alpha-1}\frac{\lambda{}^kkx^{k-1}}{k!}\\ &=& \lambda{}e^{-\lambda{}x}\sum_{k=1}^{\alpha-1} \left\{ \frac{(\lambda{}k)^k}{k!} - \frac{(\lambda{}x)^{k-1}}{(k-1)!} \right\} + \lambda{}e^{-\lambda{}x} \end{eqnarray}\]総和の始端を\(k=1\)に変更したことに留意されたい。さて、波カッコ内は総和を連鎖的に計算することで大幅に整理できる。カッコ内の値は
\[\begin{eqnarray} \sum_{k=1}^{\alpha-1} \left\{ \frac{(\lambda{}k)^k}{k!} - \frac{(\lambda{}x)^{k-1}}{(k-1)!} \right\} &=& \frac{(\lambda{}x)^1}{1!} &-& \frac{(\lambda{}x)^0}{0!}\\ & & \frac{(\lambda{}x)^2}{2!} &-& \frac{(\lambda{}x)^1}{1!}\\ & & &\dots&\\ & & \frac{(\lambda{}x)^{\alpha-1}}{(\alpha-1)!} &-& \frac{(\lambda{}x)^{\alpha-2}}{(\alpha-2)!}\\ &=& \frac{(\lambda{}x)^{\alpha-1}}{(\alpha-1)!} - 1\\ \end{eqnarray}\]これを\(f(x)\)に戻して計算すると
\[ f(x) = \lambda{}e^{-\lambda{}x}\frac{(\lambda{}x)^{\alpha-1}}{(\alpha-1)!} \]
ガンマ関数の性質\((\alpha-1)! = \Gamma(\alpha)\)と、\(\dfrac{1}{\beta} = \lambda\)なるパラメーター変換を施して、先述したガンマ分布の定義を得る。
\[ f(x) = \frac{1}{\Gamma(\alpha)}\frac{1}{\beta}(\frac{x}{\beta})^{\alpha-1}e^{-\frac{x}{\beta}} \]
ここ を参考に、自分なりに分かりやすく注釈を入れて書き直した。本家の方が簡潔で分かりやすいかもしれない。
確率分布であることの証明
確率分布であるには
・\(x\)がどのような値でも、\(f(x)\)は0より大きい(\(\forall{}x\in{}X, f(x)\geq0\))。
・全ての\(f(x)\)を足すと、合計1になる(\(\sum_{x\in{}X} = 1\))。
1番目は確率密度関数から自明であるため、2番目を示す。まず、\(X\)の確率密度関数(f_{X}(x))に関して、\(Y=\dfrac{X}{\beta}\)なる 変数変換 を施す。変数変換に用いる変換関数を\(g(\cdot)=\dfrac{\cdot}{\beta}\)とすると（\(\cdot\)は任意の変数が入ることを示す）、
\[\begin{eqnarray} f_{Y}(y) &=& f_{X}(g^{-1}(y))\frac{1}{|g'(g^{-1}(y))|}\\ &=& \frac{1}{\Gamma(\alpha)}y^{\alpha-1}e^{-y} \end{eqnarray}\]ガンマ関数の性質より、確率密度関数の総和を取ると
\[ \int_{0}^{\infty}f_{Y}(y)dy = 1 \]
より示された。
ガンマ分布のモーメント母関数
モーメント母関数は
\[ M_X(t) = E[e^{tX}] \]
であった。したがって、ガンマ分布のモーメント母関数は
\[\begin{eqnarray} M_X(t) &=& \Gamma(\alpha)\int_0^{\infty}e^{tx}\frac{1}{\beta} (\frac{x}{\beta})^{\alpha-1}e^{-\frac{x}{\beta}}\\ &=& \Gamma(\alpha)\int_0^{\infty}\frac{1}{\beta} (\frac{x}{\beta})^{\alpha-1}e^{-\frac{1-t\beta}{\beta}x}\\ &=& (1-t\beta)^{-\alpha}\int_0^{\infty}\Gamma(\alpha)\frac{1-t\beta}{\beta} (\frac{(1-t\beta)x}{\beta})^{\alpha-1}e^{\frac{(1-t\beta)x}{\beta}} \end{eqnarray}\]ここで、ガンマ分布の確率密度関数において\(\beta\rightarrow\frac{\beta}{1-t\beta}\)なるパラメーター変換を施すと、確率密度関数の全積分は1になることから、
\[ M_X(t) = \frac{1}{(1-t\beta)^\alpha} \]