正規分布

測定誤差は0を中心に、釣り鐘型に分布するなどある一定の法則に従って発生する。ガウスはそれらの法則を体系化し、誤差の公理として3つにまとめた。測定誤差とは、ある対象を繰り返し測定したとき、真の値からどれだけ離れているかという誤差を表す。

\[ \epsilon=X_i-X^{*}, i=0,1,2,\dots,n \]

ここに、\(\epsilon\)は誤差、\(X_i\)は\(i\)回目の測定値、\(X^{*}\)は真の値である。

測定誤差は、次の3つの法則に基いて発生する。

  1. 大きさが等しい誤差は、等確率で生じる。

  2. 小さな誤差は、大きな誤差より生じやすい。

  3. 大きさが桁外れに大きい誤差は、実質起こりえない。

すなわち、この3公理は、誤差発生の確率密度関数として感覚的に提案される次のような曲線を反映したものになっている。

正規分布

正規分布の確率密度関数は、

\[ f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \]

で表される。 この式の導出はやろうと思えば書けるが、 参考にしたサイト を確認したほうが分かりやすいと思うので、省略する。

正規分布の概形

正規分布の概形は以下のようになる。

ここ をクリックして、\(\mu\)と\(\sigma^2\)を変えてみよう。

確率分布であることの証明

確率分布であるには

・\(x\)がどのような値でも、\(f(x)\)は0より大きい(\(\forall{}x\in{}X, f(x)\geq0\))。

・全ての\(f(x)\)を足すと、合計1になる(\(\sum_{x\in{}X} = 1\))。

1番目は確率密度関数から自明であるため、2番目を示す。

\[\begin{eqnarray} \int_\mathbb{R}f(x) &=& \int_\mathbb{R}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ &=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_\mathbb{R}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ \end{eqnarray}\]

ここに、\(\dfrac{x-\mu}{\sqrt2\sigma}=t\)なる置換積分を適用すると、次のように変形できる。ただし、\(\displaystyle\int_{x\in\mathbb{R}}f(x)\)は、\(x\)のすべての範囲(\(-\infty<x<\infty\))で積分することを表す。置換積分により変数が変わるので、混同しないよう積分変数を明示的に示した。

\[\begin{eqnarray} \int_{x\in\mathbb{R}}f(x) &=& \frac{1}{\sqrt{2\pi\sigma^2}}\int_{t\in\mathbb{R}}e^{-t^2}\sqrt2\sigma{}dt\\ &=& \frac{1}{\sqrt{\pi}}\int_{t\in\mathbb{R}}e^{-t^2}dt \end{eqnarray}\]

ガウス積分の結果より、

\[\begin{eqnarray} \int_\mathbb{R}f(x) &=& \frac{1}{\sqrt{\pi}}\sqrt{\pi}\\ &=& 1 \end{eqnarray}\]

正規分布のモーメント母関数

モーメント母関数は

\[ M_X(t) = E[e^{tX}] \]

であった。したがって、正規分布のモーメント母関数は

\[\begin{eqnarray} M_X(t) &=& \int_\mathbb{R}e^{tx}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ &=& \int_\mathbb{R}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}+tx}dx\\ &=& \int_\mathbb{R}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\{x-(\mu-\sigma^2t)\}^2}{2\sigma^2}+(\mu{}t+\frac{\sigma^2t^2}{2})}dx\\ &=& e^{\mu{}t+\frac{\sigma^2t^2}{2}}\int_\mathbb{R}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-(\mu-\sigma^2t))^2}{2\sigma^2}}dx \end{eqnarray}\]

ここに、定数項を分離した後の積分は\(\mu\rightarrow\mu-\sigma^2t\)と置き換えたときの正規分布確率密度関数の全積分となることから

\[ M_X(t)=e^{\mu{}t+\frac{\sigma^2t^2}{2}} \]

正規分布の期待値と分散

正規分布の期待値と分散は以下のように表される。

\[ E[X] = \mu\\ V[X] = \sigma^2 \]

期待値と分散の証明

モーメント母関数の0付近での1階微分が期待値\(E[X]\)となり、2階微分が\(E[X^2]\)となる。分散\(V[X]\)が\(V[X] = E[X^2]-E[X]^2\)と表されることに注意して

\[\begin{eqnarray} M_X^{'}(t) &=& (\mu + \sigma^2t)e^{\mu{}t+\frac{\sigma^2t^2}{2}}\\ M_X^{''}(t) &=& (\mu + \sigma^2t)^2e^{\mu{}t+\frac{\sigma^2t^2}{2}} + \sigma^2e^{\mu{}t+\frac{\sigma^2t^2}{2}}\\ M_X^{'}(0) &=& \mu\\ M_X^{''}(0) &=& \mu^2 + \sigma^2\\ E[X] &=& \mu\\ V[X] &=& \sigma^2 \end{eqnarray}\]

となる。

正規分布の再生性

ある確率変数\(X\)が\(\mu, \sigma^2\)を持つ二項分布に従うとき、よく\(X\sim{}N(\mu,\sigma^2)\)と表記する。また、確率分布を特徴づける\(\mu, \sigma^2\)をパラメータという。 正規分布には再生性がある。すなわち、確率変数\(X\)、\(Y\)がそれぞれ二項分布\(N(\mu_1,\sigma_1^2)\)、\(N(\mu_2,\sigma_2^2)\)に従うとき、2つの確率変数の和\(X+Y\)が二項分布\(N(\mu_1+\mu_2,\sigma_{1}^2 + \sigma_{2}^2)\)に従う。

\[ X\sim{}N(\mu_1,\sigma_1^2),Y\sim{}N(\mu_2,\sigma_2^2)\Leftrightarrow{}X+Y\sim{}N(\mu_1+\mu_2,\sigma_1^2 + \sigma_2^2) \]

再生性の証明

\(X\)と\(Y\)のモーメント母関数は以下のようになる。

\[\begin{eqnarray} M_{X}(t) &=& e^{\mu_1{}t+\frac{\sigma_1^2t^2}{2}}\\ M_{Y}(t) &=& e^{\mu_2{}t+\frac{\sigma_2^2t^2}{2}} \end{eqnarray}\]

従って、\(X+Y\)のモーメント母関数は

\[\begin{eqnarray} M_{X+Y}(t) &=& M_X(t)M_Y(t)\\ &=& e^{(\mu_1 + \mu_2)t+\frac{(\sigma_1^2 + \sigma_2^2)t^2}{2}} \end{eqnarray}\]

これは\(N(\mu_1 + \mu_2,\sigma_1^2 + \sigma_2^2)\)なる二項分布に従う確率変数のモーメント母関数と同一である。 依って、\(X+Y\sim{}N(\mu_1 + \mu_2,\sigma_1^2 + \sigma_2^2)\)となる。

和の分布と再生性について

異なる正規分布を2つ重ね合わせると、一つの大きな正規分布になるということである。確率密度関数で考えると、足し合わせるパラメーターの組み合わせによっては2つの頂点を持つ確率密度関数になるかと思いがちだが、実際は一つの大きな山ができる。

実際に異なる正規分布に従う100000個の乱数を生成して和の分布を再現してみると、以下のようになる。

やはり単一の正規分布に従うことが分かる。 ここ をクリックして、ほかのパラメーターでも試してみよう。

こうなる理由は、2つの分散を比較的小さくして、平均を離した2つの分布で考えてみると分かりやすい。確率変数\(X\)、\(Y\)は、それぞれ\(\mu_1\)、\(mu_2\)付近に多く分布する。確率変数の和\(X+Y\)は、\(\mu_1+\mu_2\)近くの値を取ることが多いはずだ。したがって、\(\mu_1\)、\(\mu_2\)の2点では極大値が出現せず、頂点が1つ(\(\mu_1+\mu_2\))の確率密度関数となる。

頂点が複数存在する確率密度関数として、混合正規分布が知られている。

混合正規分布との違いについて

混合正規分布とは、複数のデータ点がある割合で異なる確率密度関数に従うと仮定したモデルである。これにより、凹凸のある曲線をいくつかの正規分布の和であると解釈することができる。和の分布は確率変数の和を取るのに対し、混合正規分布の場合は確率密度関数を足し合わせるため、いくつかの頂点を持った確率密度関数になる。