証明から学ぶt分布

統計初学者向けにt分布の証明を簡単に解説する

大学の統計でいきなり出てくるt分布

大学の統計学では、特に数学的な背景を紹介せずに\(t\)分布が導入されることも多いです。このページでは、統計初学者が無理なく\(t\)分布の導出を追えるように書きました。基本的には、初歩的な線形代数の知識(行列式や転置行列の性質)と、高校数学(数3)だけで理解できるようにしています。重積分の変数変換(ヤコビアン)なども使いますが、必要に応じて説明を補足していきます。（筆者も初心者です）

証明の大まかな道筋

まず、\(t\)分布がなぜ生まれたのか、どのように使われるのか(なぜ\(t\)分布があるとありがたいのか)理解する。次に、\(Z\sim{}N(0,1),\ U\sim{}\chi_m^2\)のとき\(T=\frac{Z}{\sqrt{\frac{U}{m}}}\)となる統計量が従う分布が、自由度\(m\)の\(t\)分布であるという定義を導入する。最後に、この確率密度関数を計算し、

\[ f_{T}(t|m) = \frac{\Gamma(\frac{m+1}{2})}{\Gamma(\frac{m}{2})}\frac{1}{\sqrt{\pi{}m}} \biggr( \frac{1}{\frac{t^2}{m} + 1} \biggr) ^{\frac{m+1}{2}} \]

となることを確かめる。まず、母分散と母平均の推定～なぜn-1で割るのか～を見て、母集団とサンプリングに対する理解を深め、不偏分散を導入してほしい(不偏分散とは何か、なぜ\(n\)ではなく\(n-1\)で割るのか)。

次に、正規母集団の分散とカイ二乗分布を見て、\(t\)分布の導出に必要な定理

\[ \frac{(n-1)V^2}{\sigma^2}\sim{}\chi^2_{n-1} \]

を示す。

最後に、確率密度関数を計算し、\(f_{T}\)を導出して完了する。

なぜ人々はt分布を求めるのか？？(t分布の必要性)

母分散と母平均の推定～なぜn-1で割るのか～では、どのように得られたデータを扱うかについて論じた。正規母集団全てを調査することは現実的に難しい。そこで、ランダムなサンプリングを通して得られた標本データから母集団の性質(母平均と母分散のこと)を推定することがゴールとなる。

先のページでは、母平均が標本平均、母分散が不偏分散で推定できることを証明した。通常母分散は未知であることが多く、母分散をパラメーターに含む正規分布の確率密度関数は、母集団の性質が不明な標本に対して使えない。(なお、母平均は感覚的にわかっている場合が多い)

そこで、母分散は分からないが標本分散は調査によって明らかにすることができる場合に、確率変数が従う分布、\(t\)分布が考案された。

t分布の定義

\(X_i\sim{}N(\mu, \sigma)\)として、次に示す確率変数を\(W\)とすると、\(W\sim{}N(0,1)\)となる(\(W\)の期待値と分散を取ることで、簡単に証明できるので、各自確認されたい)。

\[ W = \frac{\sqrt{n}(\overline{X} - \mu)}{\sigma} \]

ここで、不明なパラメーター\(\sigma\)に関して、不偏分散\(V\)で置き換えた統計量\(T\)を考えると、

\[ T = \frac{\sqrt{n}(\overline{X} - \mu)}{V} \]

\(T\)に関して、以下のように恣意的に変形すると、

\[\begin{eqnarray} T &=& \frac{\sqrt{n}(\overline{X} - \mu)}{V}\\ &=& \frac{\sqrt{n}(\overline{X} - \mu)}{\sigma}\over \sqrt{V^2\frac{n-1}{\sigma^2}\frac{1}{n - 1}} \end{eqnarray}\]

ここで、正規母集団の分散とカイ二乗分布を参考にする。\(V^2\frac{n-1}{\sigma^2}\sim\chi_{n-1}^2\)より新たに\(V^2\frac{n-1}{\sigma^2} = U\)と置きなおすと、\(U\sim{}\chi_{n-1}^2\)である。

さらに、分子部分は\(W\sim{}N(0,1)\)を用いて式を簡単にすると、

\[ T = \frac{W}{\sqrt{\frac{U}{n - 1}}}\\ W\sim{}N(0, 1),\ U\sim\chi_{n-1}^2 \]

となる。自分が使っている教科書の定義に沿うようにしたいので、誠に勝手ながら確率変数\(W\)を\(Z\)に、\(n-1\)を\(m\)に置き換えさせていただく。

\[ T = \frac{Z}{\sqrt{\frac{U}{m}}}\\ Z\sim{}N(0, 1),\ U\sim\chi_{m}^2 \]

この統計量を、自由度\(m\)の\(t\)分布と呼ぶ。続いて、この分布の確率密度関数を導出していく。

t分布の確率密度関数

\(t\)分布の確率密度関数\(f_T(t|m)\)は以下で定義される。

\[ f_T(t|m) = \frac{\Gamma({\frac{m + 1}{2}})}{\Gamma({\frac{m}{2}})} \frac{1}{\sqrt{\pi{}m}} (\frac{1}{\frac{t^2}{m} + 1})^\frac{m + 1}{2} \]

確率密度関数の導出

標準化正規分布に従う\(Z\sim{}N(0,1)\)及び自由度\(m\)のカイ二乗分布に従う\(U\sim\chi_{m}^2\)の同時確率密度関数\(f_{Z,\ U}(z, u)\)は

\[ f_{Z,\ U}(z, u) = \frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\frac{1}{\Gamma(\frac{m}{2})}\frac{1}{2^{\frac{m}{2}}}u^{\frac{m}{2} - 1}e^{-\frac{u}{2}} \]

次に、\(t=\dfrac{z}{\sqrt{\frac{u}{m}}},\ w=u\)なる変数変換を行い、先に定義した\(t\)分布の統計量に沿うように確率密度関数を\(t\)の関数として加工していく。ヤコビアン\(J\{(z, u)\rightarrow(t, w)\}\)は

\[ J\{(z, u)\rightarrow(t, w)\} = \det \begin{pmatrix} \sqrt{\frac{w}{m}} & \frac{t}{2\sqrt{mw}}\\ 0 & 1 \end{pmatrix} = \sqrt{\frac{w}{m}} \]

従って、変換の結果は

\[\begin{eqnarray} f_{T,\ W}(t, w) &=& \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2{}w}{2m}}\frac{1}{\Gamma(\frac{m}{2})}\frac{1}{2^{\frac{m}{2}}}w^{\frac{m}{2} - 1}e^{-\frac{w}{2}}\sqrt{\frac{w}{m}}\\ &=& \frac{1}{\sqrt{\pi{}m}}\frac{1}{\Gamma(\frac{m}{2})}\frac{1}{2^{\frac{m + 1}{2}}} e^{-\frac{\frac{t^2}{m} + 1}{2}w}w^{\frac{m + 1}{2} - 1} \end{eqnarray}\]

ここで、\(t\)だけの周辺分布を求めるために、\(w\)に関して積分する。\(W=U\sim\chi_{m}^2\)なので、積分範囲は0から\(\infty\)である。

\[ f_{T}(t) = \frac{1}{\sqrt{\pi{}m}}\frac{1}{\Gamma(\frac{m}{2})}\frac{1}{2^{\frac{m + 1}{2}}} \int_{0}^\infty e^{-\frac{\frac{t^2}{m} + 1}{2}w}w^{\frac{m + 1}{2} - 1} dw \]

式の後半の定積分を\(I(t)\)とする. (\(I(t) = \displaystyle\int_{0}^\infty{}e^{-\frac{\frac{t^2}{m} - 1}{2}w}w^{\frac{m + 1}{2} - 1}dw\)) \(I(t)\)を計算するには、\(s = \dfrac{\frac{t^2}{m} - 1}{2}w\)で置換積分を行う。すると、次のように変形できる。

\[ I(t) = 2^{\frac{m + 1}{2}}(\frac{1}{\frac{t^2}{m} + 1})^{\frac{m + 1}{2}} \int_0^\infty{}e^{-s}s^{\frac{m + 1}{2} - 1}ds \]

右辺の積分は、ガンマ分布のページを参照すると、\(\Gamma(\frac{m + 1}{2})\)となるので、

\[ I(t) = 2^{\frac{m + 1}{2}}(\frac{1}{\frac{t^2}{m} + 1})^{\frac{m + 1}{2}}\Gamma(\frac{m + 1}{2}) \]

\(I(t)\)を確率密度関数\(f_{T}(t)\)に戻して、\(t\)に関する確率密度関数を得る。