[数理統計学]連続型確率分布の期待値と分散の導出まとめ

はじめに

前回は、離散型確率分布に関するよくある分布とその平均と分散の導出についてひたすら記しました。今回は連続型の確率分布に関して同様に記していこうと思います。

※PC版でないと数式が切れてしまうので、SP版での閲覧はおすすめしません。

今回登場する連続分布

『数理統計学―基礎から学ぶデータ解析』という本に登場するものを式を補いながら紹介します。

  • 1.一様分布
  • 2.正規分布
  • 3.対数正規分布
  • 4.ガンマ分布
  • 5.指数分布
  • 6.ワイブル分布
  • 7.ベータ分布
  • 8.コーシー分布

1.一様分布

離散型の一様分布に対応しており、

$$ f(x; \alpha, \beta) = \frac{1}{\beta – \alpha}, \alpha \leq x \leq \beta $$
で定義されます。

ここで、ある区間(a,b)が区間(α,β)に含まれるとした場合、Xが一様分布に従う際の確率は、

$$ P(X \in (a,b)) = \int_a^b \frac{1}{\beta – \alpha} dx = \frac{b-a}{\beta – \alpha} $$
となり、確率は区間の長さ(b-a)に比例し、その区間が(α,β)のどこにあってもよい。つまり、一様にどこでも一定の確率となることを示している。

また、一様分布から生成される変数は、ある確率分布に従うような乱数を、確率分布関数の逆数から生成させることができる。そのような乱数生成方法を逆関数法と呼ぶ。

逆関数法
[0,1]上の一様分布に従う確率変数をUとする。このとき、目的の確率分布の関数の逆関数に一様乱数Uを代入したものは、目的の確率分布に従う。

Uが一様分布に従うことを式で示すと、
$$ P(U \leq u) = u, 0 \leq u \leq 1$$
ここで、
$$ U \leq u \Leftrightarrow F^{-1}(U) \leq F^{-1}(u) $$
であるから、
$$ P( F^{-1}(U) \leq F^{-1}(u) ) = u $$
となる。
さらに、\( F^{-1}(u) = x \)とおくと、
$$ P( F^{-1}(U) \leq x ) = F(x) $$
これは確率変数、\( F^{-1}(U) \)が累積分布関数が、\( F(x) \)であるような確率分布に従うことを表している。

一様分布の平均

$$ E(X) = \int_a^b xf(x) dx $$
$$ = \int_a^b x \frac{1}{b-a} dx$$
$$ = \left[ \frac{x^2}{2} \frac{1}{b-a} \right]^b_a $$
$$ = \frac{b^2 – a^2}{2(b-a)} $$
$$ = \frac{(b-a)(b+a)}{2(b-a)} $$
$$ = \frac{b+a}{2} $$

一様分布の分散

$$ E(X^2) = \int_a^b x^2f(x) dx $$
$$ = \int_a^b x^2 \frac{1}{b-a} dx $$
$$ = \left[ \frac{x^3}{3} \frac{1}{b-a} \right]^b_a $$
$$ = \frac{(b-a)(b^2 + ab + a^2)}{3(b-a)} $$
$$ = \frac{(b^2 + ab + a^2)}{3} $$

$$V(X)=E(X^2)-[ E(X) ]^2$$
$$ = \frac{(b^2 + ab + a^2)}{3} – \left( \frac{b+a}{2} \right)^2$$
$$ = \frac{(b^2 – 2ab + a^2)}{12} $$
$$ = \frac{(b – a)^2}{12} $$

2.正規分布

正規分布は以下のような式で定義される確率分布のことを指す。

$$ f(x; \mu, \sigma^2) = \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } $$
$$ -\infty < x < \infty , -\infty < \mu < \infty, \sigma > 0 $$

上の式で、μ=0、σ=1の場合は標準正規分布と呼ぶ。

実際に、正規分布に従う変数Xを標準化したもの\( Z = \frac{X-\mu}{\sigma} \)が標準正規分布に従うことを以下で示す。
$$ P(Z \leq z) = P(X \leq \mu + \sigma z) $$
$$ = \int_{-\infty}^{\mu + \sigma z} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx $$
ここで\( y = \frac{x-\mu}{\sigma} \)とすると、
$$ = \int_{-\infty}^{z} \frac{1}{ \sqrt{2 \pi} } e^{ – \frac{y^2}{2} }dy $$
となり、標準正規分布に従っていることがわかる。最後の積分の上限はもともとのxに対して、μを引き、σで割るという計算をすることで得られる。

また、正規分布の平均値や分散を計算する上で避けられない、ガウス積分について記しておく。

まず、
$$ I = \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx $$
とおき、xとyについての積分で

$$ I^2 = \left[ \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx \right] \left[ \int_{-\infty}^{\infty} e^{-\frac{y^2}{2}} dy \right] $$

$$ = \int_{-\infty}^{\infty} \!\!\! \int_{-\infty}^{\infty} e^{-\frac{x^2+y^2}{2}}dxdy $$
となるようにする。
ここで、重積分の変数変換を行う。\( x = r \cos \theta \)、\( y = r \sin \theta \)とし、dxdyをdθdrに変換するためにヤコビアンを用いて、
$$ = \int_{-\infty}^{\infty} \!\!\! \int_{-\infty}^{\infty} e^{-\frac{r^2}{2}} \left| \begin{array}{ccc} \frac{\partial x}{\partial r} & \frac{\partial y}{\partial r} \\ \frac{\partial x}{\partial \theta} & \frac{\partial y}{\partial \theta} \end{array} \right| d\theta dr $$
と置き換える。

$$ = \int_{-\infty}^{\infty} \!\!\! \int_{-\infty}^{\infty} e^{-\frac{r^2}{2}} \left| \begin{array}{ccc} \cos \theta & \sin \theta \\ -r \sin \theta & r \cos \theta \end{array} \right| d\theta dr $$

$$ = \int_{-\infty}^{2\pi} \!\!\! \int_{0}^{\infty} e^{-\frac{r^2}{2}} r d\theta dr $$

$$ = \left[ \theta \int_{0}^{\infty} e^{-\frac{r^2}{2}} r dr \right]^{2\pi}_0$$
$$ = 2\pi \int_{0}^{\infty} e^{-\frac{r^2}{2}} r dr $$
$$ = 2\pi \left[ – e^{ -\frac{r^2}{2} } \right]^{\infty}_0$$
$$ = 2\pi $$
よって、
$$ I = \sqrt{2\pi} $$
となる。

さっそく、ガウス積分を使って、正規分布の積分が1になることを示す。

$$ \int_{-\infty}^{\infty} f(x) dx $$
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx $$
ここで、\( z = \frac{x-\mu}{\sigma}\)とおき、\( \frac{dx}{dz}=\sigma\)から、
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} } e^{ – \frac{z^2}{2} } dz $$
となる。
ガウス積分の公式(\( \int_{-\infty}^{\infty} e^{-\frac{z^2}{2}} dz = \sqrt{2\pi} \) )より、

$$ = \frac{1}{\sqrt{2 \pi}} \times \sqrt{2\pi} = 1 $$

正規分布の平均

$$ E(X) = \int_{-\infty}^{\infty} x \times \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx $$
ここで、\( z = \frac{x-\mu}{\sigma}\)とおき、\( \frac{dx}{dz}=\sigma\)から、
$$ = \int_{-\infty}^{\infty} (\mu + \sigma z) \times \frac{1}{ \sqrt{2 \pi} } e^{ – \frac{z^2}{2} } dz $$
第一項目は定積分が1になることから、第二項目は奇関数であることから定積分が0になるため、
$$ = \mu $$
となる。

正規分布の分散

$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \int_{-\infty}^{\infty} x^2 \times \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx – \mu^2 $$
ここで、\( z = \frac{x-\mu}{\sigma}\)とおき、\( x = \sigma z + \mu \)、\( \frac{dx}{dz}=\sigma\)から、
$$ = \int_{-\infty}^{\infty} (\sigma z + \mu)^2 \times \frac{1}{ \sqrt{2 \pi}} e^{ – \frac{z^2}{2} } dz – \mu^2 $$

$$ = \int_{-\infty}^{\infty} (\sigma^2 z^2 + 2\sigma \mu z + \mu^2) \times \frac{1}{ \sqrt{2 \pi}} e^{ – \frac{z^2}{2} } dz – \mu^2 $$

ここで、第二項目は奇関数であることから定積分が0になるため、第三項目は定積分が1になることから、第三項目と第四項目が消し合うため、
$$ = \int_{-\infty}^{\infty} \sigma^2 z^2 \frac{1}{ \sqrt{2 \pi}} e^{ – \frac{z^2}{2} } dz $$
となる。
部分積分の公式より、

$$ = \frac{\sigma^2}{\sqrt{2 \pi}} \left( \left[ \frac{z^2}{-z} e^{ – \frac{z^2}{2} } \right]^\infty_-\infty – \int_{-\infty}^{\infty} 2z \times \frac{1}{-z} e^{ – \frac{z^2}{2}} \right) $$

第一項目はガウス積分に他ならないため、
$$ = \frac{\sigma^2}{\sqrt{2 \pi}} ( – \sqrt{2 \pi} + 2 \sqrt{2 \pi} ) $$
となり、
$$ = \sigma^2 $$
となる。

3.対数正規分布

正の値をとる確率変数Xを対数変換したものが正規分布に従うとした分布を対数正規分布と呼ぶ。

$$ f(x; \mu, \sigma^2) = \frac{1}{ \sqrt{2 \pi} \sigma x } e^{ – \frac{( \log x-\mu)^2}{2\sigma^2} } , x > 0$$

対数正規分布は以下のように正規分布から導出することができる。

\( f_x(x) = \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } \)とし、\( x = g(y) = e^y \)とおき、以下の分布関数について以下のように変形する。

$$ F_x (x) = \int_{-\infty}^{x} f_x(t)dt $$
$$ = \int_{-\infty}^{x} f_y(g^{-1}(x)) \frac{dt}{dx} dx $$
$$ = \int_{-\infty}^{x} f_y(g^{-1}(x)) \frac{d g^{-1}(x) }{dx} dx $$

ここで両辺をxで微分すると、

$$ f_x(x) = f_y(g^{-1}x) \frac{d g^{-1}(x) }{dx} $$
$$ = f_y( \log x) \frac{1}{x} $$
$$ = \frac{1}{ \sqrt{2 \pi} \sigma x } e^{ – \frac{( \log x-\mu)^2}{2\sigma^2} } $$

対数正規分布の平均

$$ E(X) = E(e^y) $$
$$ = \int_{-\infty}^{\infty} e^y g(y) dy $$
$$ = \int_{-\infty}^{\infty} e^y \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(y-\mu)^2}{2\sigma^2} } dy $$
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{( y – \mu – \sigma^2 )^2}{2\sigma^2} + \mu + \frac{\sigma^2}{2} } dy $$
ここで、\( y – \mu – \sigma^2 = t \)とすると、
$$ = e^{\mu + \frac{\sigma^2}{2}} \frac{1}{ \sqrt{2 \pi} \sigma } \int_{-\infty}^{\infty} e^{-\frac{t^2}{2\sigma^2} } dt $$
となり、定積分の値はガウス積分の公式より\( \sqrt{2\pi} \sigma \)なので、
$$ = e^{\mu + \frac{\sigma^2}{2}} $$

対数正規分布の分散

$$ E(X^2) = E(e^{2y}) $$
$$ = \int_{-\infty}^{\infty} e^{2y} g(y) dy $$
$$ = \int_{-\infty}^{\infty} e^{2y} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(y-\mu)^2}{2\sigma^2} } dy $$
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{1}{2\sigma^2} \left( y – (\mu + 2\sigma^2 ) \right)^2 + 2\mu + 2\sigma^2 } dy $$
ここで、\( y – 2\sigma^2 = s \)とすると、
$$ = e^{2\mu + 2\sigma^2} \frac{1}{ \sqrt{2 \pi} \sigma } \int_{-\infty}^{\infty} e^{ – \frac{(s-\mu)^2}{2\sigma^2} } ds $$
ここで、\( s – \mu = t \)とおき、ガウス積分の公式を用いると、
$$ = e^{2\mu + 2\sigma^2} $$

$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = e^{2\mu + 2\sigma^2} – e^{2\mu + \sigma^2} $$
$$ = e^{2\mu + \sigma^2} (e^{\sigma^2} – 1) $$

4.ガンマ分布

$$ f(x; \alpha, \beta) = \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha – 1}e^{-\beta x}, \alpha > 0, \beta > 0, x >0 $$

と表される確率密度関数をもつ分布をガンマ分布と呼ぶ。
\( \alpha, \beta \)の2つのパラメータを持ち、様々な形になり、正の値をとる変数の確率分布のモデルとして使われる。

ガンマ分布はポアソン過程から導出することができる。その際は、ガンマ関数が階乗の一般化であるという性質を使う。

まずガンマ関数が階乗の一般化であることの証明を行う。

まず、ガンマ関数は以下のように定義される。
$$ \Gamma (\alpha) = \int_{0}^{\infty} e^{-t} t^{\alpha – 1} dt $$
\( \alpha = 1 \)の場合、
$$ \Gamma (1) = \int_{0}^{\infty} e^{-t} dt $$
$$ = \left[ -e^{-t} \right]^{\infty}_{0} = 1 $$

任意の正の整数nに対して、
$$ \Gamma (n ) = \int_{0}^{\infty} e^{-t} t^{ n – 1} dt $$
部分積分の公式より、

$$ = \left[ -e^{-t} t^{n-1} \right]^{\infty}_{0} + (n-1)\int_{0}^{\infty} e^{-t}t^{n-2}dt$$

第1項目は0に、第2項目はガンマ関数の定義から以下のようになる。
$$ = (n-1) \Gamma (n-1) $$
以上より、逐次的に代入することで、
$$ \Gamma (n+1) = n! \Gamma (1) = n! $$
となる。

以下、ポアソン過程からガンマ分布を導出する。
まず、分布関数
$$ F_n(t) = P( Y_n \le t ) = P(X_t \ge n) $$
を考える。tや\( Y_n \)はn回の事象が生じるまでの時間を表し、\( X_t \)は事象の回数を表している。
\( F_n \)はポアソン分布に従うため、
$$ = \sum _{x=n}^{\infty} \frac{e^{-\lambda t} (\lambda t)^x }{x!} $$
と表され、全事象からn-1回分までの確率を差し引くことによっても表される。
$$ = 1 – \sum _{x=0}^{n-1} \frac{e^{-\lambda t} (\lambda t)^x }{x!} $$

\(Y_n \)の密度関数は分布関数をtで微分することによって得られる。

$$ \frac{d F_n (t)}{dt} = \sum _{x=0}^{n-1} \frac{\lambda e^{-\lambda t} (\lambda t)^x }{x!} – \sum _{x=1}^{n-1} \frac{\lambda e^{-\lambda t} \lambda^x t^{x-1} }{(x-1)!} $$
最後の項以外はキャンセルアウトされるため、
$$ = \frac{\lambda^n t^{n-1}e^{-\lambda t}}{(n-1)!} $$
となり、先程示したガンマ関数が階乗の一般系であることの証明から、
$$ = \frac{\lambda^n}{\Gamma (n) } t^{n-1}e^{-\lambda t} $$
となり、これはガンマ分布である。つまり、ポアソン過程に従う確率分布を時間で微分することでガンマ分布は得られる。

また、ガンマ分布には再生性があり、モーメント母関数を用いたり、確率分布の畳込みを用いての証明などがある。

ガンマ分布の平均

$$ E(X) = \int_{0}^{\infty} x \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha – 1}e^{-\beta x} dx $$
$$ = \int_{0}^{\infty} \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha}e^{-\beta x} dx $$
部分積分の公式より、

$$ \frac{ \beta^{\alpha} }{ \Gamma ( \alpha )} \left[ \frac{ x^{\alpha} e^{-\beta x} }{ -\beta } \right]^{\infty}_0 – \frac{ \beta^{\alpha} }{ \Gamma ( \alpha )} \int_{0}^{\infty} \frac{ \alpha x^{\alpha – 1}e^{-\beta x}}{-\beta} dx $$

第1項目は0になるため、
$$ = \frac{\alpha}{\beta} \int_{0}^{\infty} \frac{\beta^{\alpha} x^{\alpha-1}e^{-\beta x}}{\Gamma (\alpha) } $$
となり、ガンマ分布の定積分は1であることから、
$$ = \frac{\alpha}{\beta} $$
となる。

ガンマ分布の分散

$$ E(X^2) = \int_{0}^{\infty} x^{2} \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha – 1}e^{-\beta x} dx $$
$$ = \frac{\beta^{\alpha}}{\Gamma (\alpha) } \int_{0}^{\infty} x^{\alpha + 1}e^{-\beta x} dx $$
部分積分の公式より、

$$ = \frac{\beta^{\alpha}}{\Gamma (\alpha) } \left[ \frac{x^{\alpha + 1}e^{-\beta x}}{- \beta } \right]^{\infty}_0 $$

$$ – \frac{\beta^{\alpha}}{\Gamma (\alpha) } \int_{0}^{\infty} \frac{(\alpha + 1)}{- \beta} x^{\alpha}e^{-\beta x} dx $$

第1項目は0になるため、
$$ = \frac{ (\alpha + 1) \beta^{\alpha-1}}{\Gamma (\alpha) } \int_{0}^{\infty} x^{\alpha}e^{-\beta x} dx $$
となり、ガンマ関数の性質より、\( \Gamma (\alpha + 1) = \alpha \Gamma (\alpha) \)から、
$$ = \alpha \beta^{-2} (\alpha + 1) \int_{0}^{\infty} \frac{\beta^{\alpha + 1}}{\Gamma (\alpha + 1)}x^{\alpha} e^{-\beta x} dx $$
ガンマ分布の定積分が1であることから、
$$ = \alpha \beta^{-2} (\alpha + 1) $$
となる。

$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \alpha \beta^{-2} (\alpha + 1) – \frac{\alpha^{2}}{\beta^{2}} $$
$$ = \frac{\alpha}{\beta^2} $$

5.指数分布

ガンマ分布の特別なケースとして、\( \alpha = 1, \beta = \frac{1}{\theta} \) とした、
$$ f(x; \theta) = \frac{1}{\theta} e^{-\frac{1}{\theta}x} , x > 0, \theta > 0 $$
の形をした分布を指数分布と呼ぶ。これはポアソン過程における\( n=1 \)、つまり初めて事象が起こるまでの時間の分布を表している。加えて、無記憶性があるため、幾何分布の連続型版と考えることもできる。

無記憶性について

$$ P(X > x + h | X > x) = \frac{\int^{\infty}_{x+h} \frac{1}{\theta} e^{-\frac{y}{\theta}} dy }{ \int^{\infty}_{x} \frac{1}{\theta} e^{-\frac{y}{\theta}} dy } $$

$$ = \frac{ \left[ \left( – \frac{1}{\theta} \right) e^{-\frac{y}{\theta}} \right]^{\infty}_{x+h} }{ \left[ \left( – \frac{1}{\theta} \right) e^{-\frac{y}{\theta}} \right]^{\infty}_{x} } $$
$$ = \frac{-e^{-\frac{x+h}{\theta}}}{-e^{-\frac{x}{\theta}}} = e^{-\frac{h}{\theta}} $$
よって、確率密度がこれまでの時間には依存しないことがわかる。

ハザードレートについて

あるt時点での確率密度を、t時点までの確率分布を1から引いたもので割ったものをハザードレートとする。(事象が起きるまでの確率1単位あたりの確率密度)
$$ \frac{f(t; \theta)}{1 – F(t;\theta)} = \frac{ \frac{1}{\theta} e^{-\frac{1}{\theta} t} }{ \int^{\infty}_{t} \frac{1}{\theta} e^{-\frac{1}{\theta} x} dx } $$
$$ = \frac{ \frac{1}{\theta} e^{-\frac{1}{\theta} t} }{ \left[ -e^{\frac{1}{\theta}x} \right]^{\infty}_{t} } = \frac{1}{\theta} $$
よって、tによらず一定であることがわかる。これは製品の寿命の分布と考えるに際して、時間を通じて寿命をむかえる確率が一定という指数分布の性質はクレイジーなものと思われますね。

ここで、指数分布の平均や分散を計算する上で必要な極限について取り上げておきます。

\( xe^{-x} \)の極限について

\( x > 0 \)として、
$$ x < 2^{x} $$ とし、両辺に\( e^{-x} \)をかけると、 $$ x e^{-x} < 2^{x} e^{-x} $$ ここで右辺に関して極限を取ると、 $$ \lim_{x \to \infty} 2^{x} e^{-x} = \lim_{x \to \infty} \left( \frac{2}{e} \right)^x = 0 $$ となる。 よって、 $$ \lim_{x \to \infty} x e^{-x} = 0 $$ となる。

\( x^n e^{-x} \)の極限について

\( x > 0 \)として、
$$ f(x) = x^{n+1}e^{-x} $$
を考える。
これを微分すると、
$$ f'(x) = (n+1)x^{n}e^{-x} – x^{n+1}e^{-x} $$
$$ = x^ne^{-x}(n+1-x) $$
ここで、\( f'(x) = 0 \)とすると、
$$ x = n+1 $$
となり、最大値は
$$ f(n+1) = (n+1)^{n+1} e^{-(n+1)} $$
となる。そこで以下の不等式から

$$ 0 < x^ne^{-x} = x^{n+1}e^{-x}x^{-1} \le (n+1)^{n+1}e^{-(n+1)}x^{-x} $$

最後の式について極限を取ると、
$$ \lim_{x \to \infty} (n+1)^{n+1}e^{-(n+1)}x^{-x} = 0 $$
となり、はさみうちされるため、
$$ \lim_{x \to \infty} x^n e^{-x} = 0$$
となる。

指数分布の平均

$$ E(X) = \int_{0}^{\infty} x \frac{1}{\theta} e^{ – \frac{1}{ \theta } x } dx $$
部分積分の公式より、
$$ = \left[ x \frac{-\theta}{\theta} e^{- \frac{1}{\theta}x} \right]^{\infty}_{0} -\int_{0}^{\infty} \frac{1}{\theta} (-\theta) e^{-\frac{1}{\theta}x} dx $$
\( xe^{-x} \)の極限より、第1項目は0になるため、
$$ = \int_{0}^{\infty} e^{-\frac{1}{\theta}x}dx $$
また指数分布の定積分が1であることから、
$$ = \theta \int_{0}^{\infty} \frac{1}{\theta} e^{-\frac{1}{\theta}x}dx = \theta $$
となる。

指数分布の分散

$$ E(X^2) = \int_{0}^{\infty} x^2 \frac{1}{\theta} e^{ – \frac{1}{ \theta } x } dx $$
部分積分の公式より、
$$ = \left[ x^2 \frac{-\theta}{\theta} e^{- \frac{1}{\theta}x} \right]^{\infty}_{0} – \int_{0}^{\infty} \frac{1}{\theta} (-\theta) 2x e^{-\frac{1}{\theta}x} dx $$

\( x^n e^{-x} \)の極限より、第1項目は0になるため、
$$ = \int_{0}^{\infty} 2x e^{-\frac{1}{\theta}x} dx $$
再び、部分積分の公式より、
$$ = 2 \left[ x( – \theta )e^{ – \frac{1}{ \theta } x } \right]^{\infty}_{0} – 2 \int_{0}^{\infty} ( – \theta )e^{-\frac{1}{\theta}x}dx $$

\( x e^{-x} \)の極限より、第1項目は0になるため、
$$ = 2 \int_{0}^{\infty} (\theta)e^{-\frac{1}{\theta}x}dx $$
$$ = 2 \theta^2 \int_{0}^{\infty} \frac{1}{\theta} e^{-\frac{1}{\theta}x}dx $$
指数分布の定積分が1であることから、
$$ = 2\theta^2 $$

$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = 2\theta^2 – \theta^2 = \theta^2 $$

6.ワイブル分布

$$ f(x;\alpha, \beta) = \beta \alpha x^{\alpha-1}e^{-\beta x^{\alpha}}, x >0, \alpha > 0, \beta > 0 $$

の確率密度に従う分布をワイブル分布と呼び、\( \alpha = 1 \)のときは指数分布になる。

ハザードレートについて

あるt時点での確率密度を、t時点までの確率分布を1から引いたもので割ったものをハザードレートとする。(事象が起きるまでの確率1単位あたりの確率密度)

$$ \frac{f(t; \alpha, \beta)}{1 – F(t;\alpha, \beta)} = \frac{\beta \alpha t^{\alpha – 1} e^{-\beta t^{\alpha}}}{\int_{t}^{\infty}\beta \alpha x^{\alpha – 1}e^{-\beta x^{\alpha}}dx} $$

ここで、分母についてのみ注目して、\( z = x^{\alpha} \)と変数変換すると、\( \frac{dx}{dz} = \frac{1}{\alpha} z^{\frac{1}{\alpha}-1} \)から、

$$ \int_{t}^{\infty}\beta \alpha x^{\alpha – 1}e^{-\beta x^{\alpha}}dx = \beta \int_{t^{\alpha}}^{\infty} e^{-\beta z}dz $$

$$ = \beta \left[ – \frac{1}{\beta} e^{-\beta z} \right]^{\infty}_{t^{\alpha}} = e^{\beta t^{\alpha}} $$
よってハザードレートは、
$$ \frac{f(t; \alpha, \beta)}{1 – F(t;\alpha, \beta)} = \beta \alpha t^{\alpha -1} $$
となる。これは時間とともにハザードレートが高くなるという性質を示しており、全ての対象に対して、寿命に関して時間に対して単調増加を想定するのは誤りだろう。

ワイブル分布の平均

$$ E(X) = \int_{-\infty}^{\infty} x \beta \alpha x^{\alpha-1}e^{-\beta x^{\alpha}} dx $$
\( z = \beta x^{\alpha} \)として変数変換すると、\( \frac{dx}{dz} = \frac{1}{\alpha} z^{\frac{1}{\alpha}-1} \beta ^{-\frac{1}{\alpha}} \)から、
$$ = \int_{-\infty}^{\infty} \left( \frac{z}{\beta} \right)^{\frac{1}{\alpha}} \beta \alpha \left( \frac{z}{\beta} \right)^{\frac{\alpha – 1}{\alpha}} e^{-z} \frac{1}{\alpha}z^{\frac{1}{\alpha}-1} \beta ^{-\frac{1}{\alpha}} dz $$
$$ = \beta^{-\frac{1}{\alpha}} \int_{-\infty}^{\infty} z^{\frac{1}{\alpha}} e^{-z}dz $$
ガンマ関数の定義より、
$$ = \beta^{-\frac{1}{\alpha}} \Gamma \left( \frac{1}{\alpha} + 1 \right) $$

ワイブル分布の分散

$$ E(X^2) = \int_{-\infty}^{\infty} x^2 \beta \alpha x^{\alpha-1}e^{-\beta x^{\alpha}} dx $$
\( z = \beta x^{\alpha} \)として変数変換すると、
$$ = \int_{-\infty}^{\infty} \left( \frac{z}{\beta} \right)^{\frac{2}{\alpha}} \beta \alpha \left( \frac{z}{\beta} \right)^{\frac{\alpha – 1}{\alpha}} e^{-z} \frac{1}{\alpha}z^{\frac{1}{\alpha}-1} \beta ^{-\frac{1}{\alpha}} dz $$
$$ = \beta^{-\frac{2}{\alpha}} \int_{-\infty}^{\infty} z^{\frac{2}{\alpha}} e^{-z}dz $$
ガンマ関数の定義より、
$$ = \beta^{-\frac{2}{\alpha}} \Gamma \left( \frac{2}{\alpha} + 1 \right) $$
となる。

$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \beta^{-\frac{2}{\alpha}} \Gamma \left( \frac{2}{\alpha} + 1 \right) – \left[ \beta^{-\frac{1}{\alpha}} \Gamma \left( \frac{1}{\alpha} + 1 \right) \right]^2 $$
$$ = \beta^{-\frac{2}{\alpha}} \left[ \Gamma \left( \frac{2}{\alpha} + 1 \right) – \Gamma^2 \left( \frac{1}{\alpha} + 1 \right) \right] $$

7.ベータ分布

$$ f(x;\alpha, \beta) = \frac{1}{B(\alpha, \beta)}x^{\alpha – 1}(1-x)^{\beta – 1} , 0 < x < 1, \alpha > 0, \beta > 0 $$

ただし、\( B(\alpha, \beta) = \int_{0}^{1} x^{\alpha – 1}(1-x)^{\beta – 1} dx \)とする。この確率密度に従う分布をベータ分布と呼び、(0, 1)上の確率現象などをモデリングする際に用いられる。

ベータ関数の復習

ベータ関数は任意の2つの正定数x,yに対して定義される2変数関数で、
$$ B(x, y) = \int_{0}^{1} t^{x – 1}(1-t)^{y – 1} dt $$
で表され、収束する。
証明は区間を\( (0,\frac{1}{2}] \)と\( [ \frac{1}{2}, 1) \)に分けた積分について、各項が収束することを示すことによりなされる。

・ベータ関数の非負性、対称性

$$ B(x,y) > 0 $$

$$ B(x,y) = B(y,x) $$

対称性の証明は\( s = 1 – t \)と変数変換することで容易に示される。

・ベータ関数を三角関数の積分に変数変換

$$ B(x, y) = 2 \int_{0}^{\frac{\pi}{2}} \sin ^{2x-1} \theta \cos ^{2y – 1} \theta d \theta $$

証明は、\( t = \sin^2 \theta \)として変数変換をすることで容易に示される。

・ベータ関数とガンマ関数の関係について

$$ B(x, y) = \frac{ \Gamma (x) \Gamma (y) }{ \Gamma (x+y) } $$

証明はガンマ関数の定義式について、\( t = s^2 \)と変数変換を行い、極座標の変換公式を用いてから、三角関数で表現できるベータ関数を用いることで示される。

ベータ分布の平均

$$ E(X) = \int_{0}^{1} x \frac{1}{B(\alpha, \beta)}x^{\alpha – 1}(1-x)^{\beta – 1} dx $$

ベータ関数とガンマ関数の関係、\( B(x, y) = \frac{ \Gamma (x) \Gamma (y) }{ \Gamma (x+y) } \)から、
$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + \beta ) }{ \Gamma (\alpha) \Gamma (\beta) } x^{\alpha}(1-x)^{\beta – 1} dx $$
ガンマ関数の性質\( \Gamma ( x + 1 ) = x \Gamma (x) \)より、

$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + 1 + \beta ) }{ \alpha + \beta } \frac{\alpha}{\Gamma (\alpha + 1) \Gamma (\beta)} x^{\alpha}(1-x)^{\beta – 1} dx $$

$$ = \frac{\alpha}{\alpha + \beta} \int_{0}^{1} \frac{ \Gamma (\alpha + 1 + \beta ) }{ \Gamma (\alpha + 1) \Gamma (\beta) } x^{\alpha}(1-x)^{\beta – 1} dx $$
ベータ分布の定義より、定積分が1になることから、
$$ = \frac{\alpha}{\alpha + \beta} $$

ベータ分布の分散

$$ E(X^2) = \int_{0}^{1} x^2 \frac{1}{B(\alpha, \beta)}x^{\alpha – 1}(1-x)^{\beta – 1} dx $$
$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + \beta ) }{ \Gamma (\alpha) \Gamma (\beta) } x^{\alpha+1}(1-x)^{\beta – 1} dx $$
ガンマ関数の性質より、

$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + 1 + \beta ) }{ \alpha + \beta } \frac{\alpha}{\Gamma (\alpha + 1) \Gamma (\beta)} x^{\alpha+1}(1-x)^{\beta – 1} dx $$

さらに、ガンマ関数の性質より、

$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + 2 + \beta ) }{ (\alpha + \beta) (\alpha + \beta + 1) } \frac{\alpha(\alpha + 1)}{\Gamma (\alpha + 2) \Gamma (\beta)} x^{\alpha+1}(1-x)^{\beta – 1} dx $$

整理すると、

$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} \int_{0}^{1} \frac{ \Gamma (\alpha + 2 + \beta ) }{\Gamma (\alpha + 2) \Gamma (\beta)} x^{\alpha+1}(1-x)^{\beta – 1} dx $$

となる。ベータ分布の定義より、定積分が1になることから、
$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} $$
となる。

$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} – \left[ \frac{\alpha}{\alpha + \beta} \right]^2 $$
$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} – \frac{\alpha^2}{(\alpha + \beta)^2} $$
$$ = \frac{\alpha(\alpha+1)(\alpha+\beta) – \alpha^2(\alpha + \beta +1)}{(\alpha + \beta)^2(\alpha + \beta +1)} $$
$$ = \frac{\alpha \beta}{(\alpha + \beta)^2(\alpha + \beta +1)} $$

8.コーシー分布

$$ f(x;\theta) = \frac{1}{\pi} \frac{1}{1+(x-\theta)^2} , – \infty < x < \infty, - \infty < \theta < \infty $$

という確率密度に従う分布をコーシー分布と呼ぶ。裾が長く、大きい値や小さい値を取る確率がなかなか0に近づかない分布とされる。
また、コーシー分布の特徴としては平均や分散を持たないことがあげられる。身近な活用例としては、株価の分析に使われたり、ベイズ統計学における無情報事前分布として半コーシー分布というものが用いられることがある。

ここで、\( x – \theta = z \)として、コーシー分布の平均を考える。
$$ E(X) = \int_{-\infty}^{\infty} z \frac{1}{\pi} \frac{1}{1+z^2} dz $$
上限をb、下限をaとすると、
$$ = \frac{1}{\pi} \int_{a}^{b} \frac{z}{1+z^2} dz$$
$$ = \frac{1}{\pi} \left[ \frac{1}{2} \log (1+z^2) \right]^b_a $$
$$ = \frac{1}{\pi 2} \log (1+b^2) – \frac{1}{\pi 2} \log (1+a^2) $$
ここで、aとbについて極限をとると、

$$ \lim_{b \to \infty} \lim_{a \to \infty} \left( \frac{1}{\pi 2} \log (1+b^2) – \frac{1}{\pi 2} \log (1+a^2) \right) $$

となり、これは不定となり極限値は存在しない。よって、平均値は存在しないため、分散も同様に存在しない。各々の項が無限にランダムに向かうため特定の値に収束することはないというイメージをするとわかりやすい。

参考文献

[1] 鈴木・山田 (1996), 『数理統計学―基礎から学ぶデータ解析』, 内田老鶴圃
[2] 原隆 , “微分積分続論 SII-15 クラス” , 九州大学の講義資料
[3] 高校数学の美しい物語 , “ガウス積分の公式の2通りの証明”
[4] 高校数学の美しい物語 , “偶関数と奇関数の意味,性質などまとめ”
[5] 小杉考司 (2015) ,”Cauchy分布について(ベイズ塾例会資料)2015.07.26″, slideshare

[数理統計学]離散型確率分布の期待値と分散の導出まとめ

はじめに

先日、知人が社労士の試験を受けていたのですが、アプリで問題を色々と解けるものがあるらしく、少しの課金で通勤電車などでの勉強が捗るそうです。統計検定に関してもそのようなものがあればいいなとは思いますが、そんなものを作る気力はないので、よくある分布とその平均と分散に関する導出についてひたすら記していきます。これで少なくとも自分の通勤時の学習が捗ると思われます。なによりも、歳をとっても最低限の数式を扱うスキルがあれば思い出せるレベルで残すことも意識したいですね。

※PC版でないと数式が切れてしまうので、SP版での閲覧はおすすめしません。

今回登場する離散分布

『数理統計学―基礎から学ぶデータ解析』という本に登場するものを式を補いながら紹介します。

  • 1.一様分布
  • 2.ベルヌーイ分布
  • 3.二項分布
  • 4.ポアソン分布
  • 5.超幾何分布
  • 6.幾何分布
  • 7.負の二項分布

1.一様分布

確率変数が有限個の値をとり、それぞれの確率が$$\frac{1}{n}$$である分布。

一様分布の平均

$$E(X)=\frac{1}{n}\sum_{i=1}^{n}X_{i}$$

一様分布の分散

$$V(X)=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\bar X)^2$$

2.ベルヌーイ分布

等確率の原理に従うとして、あるトラックの中にある「ちくわぶ」を取り出していった場合、確率θで「ちくわぶ」は穴が空いておらず、確率(1-θ)で穴が空いているとする。穴の空いていない「ちくわぶ」の割合はベルヌーイ分布に従う。

ベルヌーイ分布の平均

$$E(X)=1 \times \theta + 0 \times (1-\theta ) \ $$
$$ = \theta $$

ベルヌーイ分布の分散

$$V(X)=(1-\theta)^2 \times \theta + (0 – \theta)^2 \times (1-\theta ) \\ $$
$$ = \left[ (1-\theta) \times \theta + \theta^2 \right] \times (1-\theta) $$

$$ = \theta(1-\theta) $$

3.二項分布

一つの事象(「ちくわぶ」に穴が空いているかどうか)に関する、確率θからなるベルヌーイ分布に従う確率変数列を
$$X_1 , X_2, \dots ,X_n$$
として、それらの和(n回試行した際の「ちくわぶ」に穴が空いていない個数)を
$$X = X_1 + X_2 + \dots + X_n$$
とする。その和の従う確率分布は二項分布と呼ばれ、
$$P(X=x):= {}_n C_x \theta^x(1-\theta)^{n-x}$$
と表される。

二項分布の平均

$$E(X)=\sum_{x=0}^{n}x \times {}_n C_x \theta^x(1-\theta)^{n-x} $$

x=0のときは0なので、

$$ = \sum_{x=1}^{n} \frac{n!}{(n-x)!(x-1)!}\theta^x(1-\theta)^{n-x}$$
$$ = n \theta \sum_{x=1}^{n} \frac{(n-1)!}{(n-x)!(x-1)!}\theta^{x-1}(1-\theta)^{n-x}$$
$$ = n \theta \sum_{x=1}^{n} \frac{(n-1)!}{\left[ (n-1) – (x-1) \right]!(x-1)!}$$
$$ \times \theta^{x-1}(1-\theta)^{ (n-1) – (x-1) } $$
ここで
$$y = x-1$$
とおくと、

$$ = n \theta \sum_{y=0}^{n-1} {}_{n-1} C_y \theta^y(1-\theta)^{n-1-y}$$
二項分布の和は1であるという性質を使えば、
$$ = n \theta $$

二項分布の分散

$$ E [ X(X-1) ] = \sum_{x=0}^{n} x(x-1) $$
$$ \times {}_n C_x \theta^x(1-\theta)^{n-x} $$

x = 1, 2のときは0なので、

$$= \sum_{x=2}^{n} \frac{n!}{(n-x)!(x-2)!} \theta^x(1-\theta)^{n-x} $$
$$= \sum_{x=2}^{n} \frac{n!}{\left[ (n-2) – (x-2) \right]!(x-2)!} \theta^x(1-\theta)^{(n-2) – (x-2) } $$
$$= n(n-1)\theta^2 \sum_{x=2}^{n} \frac{n!}{\left[ (n-2) – (x-2) \right]!(x-2)!} \theta^{x-2}(1-\theta)^{(n-2) – (x-2) } $$

ここで
$$y = x -2$$
とおくと、

$$= n(n-1)\theta^2 \sum_{y=0}^{n-2} {}_{n-2} C_y \theta^y(1-\theta)^{(n-2) – y } $$

となり、二項分布の和が1であることから、
$$= n(n-1)\theta^2$$
となる。

$$V(X)=E(X^2)-[ E(X) ]^2$$
$$ =E[X(X-1)] + E(X) -[ E(X) ]^2$$
$$ =n(n-1)\theta^2 + n \theta -[ n \theta ]^2$$
$$ =n\theta(1-\theta)$$

また、この式より、二項分布に関してはθの絶対値が1よりも小さいことから、平均よりも分散の方が小さくなることがわかる。

4.ポアソン分布

二項分布において、平均値がλとおく。つまり、
$$n\theta = \lambda$$
λが一定でnが非常に大きいケースにおいて、その確率分布はポアソン分布に従う。λが一定でnが非常に大きいケースというのは、θが非常に小さいということになり、その事象が滅多に起きないような対象に対して扱われることが多い。

ポアソン分布の導出は二項分布からネイピア数を用いて導出する方法や、微分方程式を用いた方法などがある。

ポアソン分布の導出(二項分布からver)

$${}_{n} C_x \theta^x(1-\theta)^{n-x}$$
$$ = \frac{n(n-1) \dots (n-x+1)}{x!} \theta^x(1-\theta)^{n-x}$$

ここで、
$$\theta = \frac{\lambda}{n}$$
とすると

$$ = \frac{1\left(1-\frac{1}{n}\right) \dots \left(1-\frac{x-1}{n}\right)}{x!} \left(\frac{\lambda}{n}\right)^x\left(1-\frac{\lambda}{n}\right)^{n-x}n^x$$
$$ = \frac{1\left(1-\frac{1}{n}\right) \dots \left(1-\frac{x-1}{n}\right)}{x!} \lambda^x\left(\left(1-\frac{\lambda}{n}\right)^{-\frac{n}{\lambda}}\right)^{-\lambda} \left(1-\frac{\lambda}{n}\right)^{-x}$$

nを無限大にすると、分母にのみnがある項は0になり、また、ネイピア数の定義から
$$ \lim_{n\to\infty}{}_{n} C_x \theta^x(1-\theta)^{n-x} = \frac{\lambda^x e^{-\lambda}}{x!}$$
となる。
$$P(X=x):= \frac{\lambda^x e^{-\lambda}}{x!}$$
この確率分布がポアソン分布と呼ばれる。(x=0,1,2,…)

実際に、確率分布の性質を確かめると、

$$ \sum_{x=0}^{\infty} P(X=x) = \sum_{x=0}^{\infty} \frac{\lambda^x e^{-\lambda}}{x!} $$
$$ = e^{-\lambda} \sum_{x=0}^{\infty} \frac{\lambda^x}{x!} $$
指数の和の公式より、
$$ = e^{-\lambda} e^{\lambda} = 1 $$
よって、確率分布であることがわかる。

ポアソン分布の導出(微分方程式ver)

abrahamcowさんのブログにまさにそれが書かれていました。図も載っていて詳しくて良いです。
他にも、英語の文献だとA Quick Way to See that the Poisson Distribution is the Appropriate Mathematical Formulation for a Counting Process with Constant Rate and Intensityなどがあります。

これらの文献を見ていただければ導出について理解できると思います。

以下、これらの文献を参考にして式展開したものを記しておきます。

まず、3つの仮定をおきます。

  • 1.互いに背反する期間では現象が起こる確率は独立。
    つまり、X(t)とX(t+h)-X(t)は独立。
  • 2.非常に小さい区間で現象が起こる確率はその区間の長さに比例する。
    $$P\{X(t+h) – X(t) = 1 \} = \lambda h + o(h)$$
    ここでo(h)は
    $$\lim_{n\to 0} \frac{o(h)}{h}=0$$
    となる関数とする。また、λ > 0とする。
  • 3.非常に小さい区間で現象が2回以上起こる確率はその区間で現象が1回起こる確率に比べて、無視できるほど小さい。
    $$P\{X(t+h) – X(t) = k\} = o(h) $$
    ただし、k > 1とする。

ここで、X(t)がrになる確率を以下の表現で表す。
$$P_r (t) = P\{ X(t) = r \} $$

事象
$$X(t+h)=r$$
は以下の3つに場合分けできる。

  • 1.$$ \{ X(t) = r,X(t+h) – X(t) = 0 \}$$
    この
    $$X(t+h) – X(t) = 0$$
    は仮定2と仮定3の式を1から差っ引いたものによって確率を計算できる。また、仮定1から互いに背反する期間では現象が起こる確率は独立のため、同時確率は各々の積で表される。

$$P\{ X(t) = r \} (1 – \lambda h – o(h) – o(h) )$$

  • 2.$$ \{ X(t) = r-1,X(t+h) – X(t) = 1 \}$$
    仮定2より、
    $$P\{ X(t) = r-1 \} (\lambda h + o(h))$$
    によって表される。

  • 3.

$$ \\{ X(t+h) = r-k,X(t+h) – X(t) = k \\} , k > 1 $$

仮定3より、
$$P\{ X(t+h) = r-k \} o(h)$$
によって表される。

これらは期間が違うため、仮定より互いに背反であることから、3つに場合分けの確率の和で表現する。
$$P_r(t+h) = P\{ X(t) = r \} $$
$$= P\{ X(t) = r \} (1 – \lambda h – o(h) – o(h) ) $$

$$+ P\{ X(t) = r-1 \} (\lambda h + o(h)) + P\{ X(t+h) = r-k \} o(h)$$

$$ = P_r(t)(1-\lambda h) + P_{r-1}(t)\lambda h + o(h) $$

$$P_r(t+h) – P_r(t) = -\lambda h P_r(t) + P_{r-1}(t)\lambda h + o(h) $$
$$\frac{P_r(t+h) – P_r(t)}{h} = -\lambda P_r(t) + \lambda P_{r-1}(t) + \frac{o(h)}{h} $$

hの極限をとると、

$$\lim_{h\to 0} \frac{P_r(t+h) – P_r(t)}{h} = -\lambda P_r(t) + \lambda P_{r-1}(t) $$

となる。

これらは
r = 0のとき
$$\frac{P_0(t)}{dt} = – \lambda P_0(t)$$

r ≠ 0のとき

$$\frac{P_r(t)}{dt} = -\lambda P_r(t) + \lambda P_{t-1}(t), r = 1,2,\dots$$

となる微分方程式として表される。

まず、r=0の場合の微分方程式を解くと、

$$\frac{P_0(t)}{dt} = – \lambda P_0(t) \Rightarrow \frac{d P_0(t)}{P_0(t)} = -\lambda dt $$
両辺積分すると、
$$ \int \frac{d P_0(t)}{P_0(t)} = -\lambda \int dt $$

$$ \log P_0(t) = -\lambda t + C$$
(Cは積分定数)

$$P_0(t) = e^{-\lambda t +C}$$
Cは任意なので、
$$e^C=C$$
として、
$$P_0(t) = Ce^{-\lambda t}$$
となる。
t = 0で1件も発生しない確率は1なので、
$$P_0(0)=C=1$$
から、C = 1であることがわかり、
$$P_0(t) = e^{-\lambda t}$$
となる。

ここで、定数係数の1階線形微分方程式の解の公式は、
$$y^{\prime} + p(x)y = q(x)$$
に対して、
$$y = e^{-p(x)x}\left[ \int q(x) e^{p(x)x}dx + C \right]$$
で表される。
この解の公式を今回のr=1の場合の微分方程式に当てはめると、
$$y^{\prime} = P_1(t) , p(x) = -\lambda , q(x) = \lambda P_0(t) $$
であるから、
$$P_1(t) = e^{-\lambda t}\left[ \int \lambda P_0(t) e^{\lambda t} dt + C \right] $$
となる。ここに、
$$P_0(t)$$
を代入すると、
$$ = e^{-\lambda t}\left[ \int \lambda e^{-\lambda t} e^{\lambda t} dt \right] $$
$$ = e^{-\lambda t}\left[ \int \lambda dt + C \right] $$
$$ = e^{-\lambda t} \lambda t + e^{-\lambda t}C $$
となる。
t=0においてX(0)=1の確率は0なので、C=0となり、
$$P_1(t) = e^{-\lambda t} \lambda t $$

同様にしてr=2の場合、
$$P_2(t) = \frac{e^{-\lambda t \left( \lambda t \right)^2}}{2} $$
r=3の場合、
$$P_3(t) = \frac{e^{-\lambda t \left( \lambda t \right)^3}}{2 \times 3} $$
となる。

ここで、任意の整数r=kにおいて、
$$P_k(t) = \frac{e^{\lambda t} \left( \lambda t \right)^k }{k!}$$
が成り立つとする。

r=k+1のとき、
$$P_{k+1}(t) = \frac{e^{\lambda t} \left( \lambda t \right)^{k+1} }{(k+1)!}$$
である。
これはポアソン分布であり、定数係数の1階線形微分方程式よりポアソン分布が導出できることが示された。

ポアソン分布の平均

$$E(X)=\sum_{x=0}^{\infty}x \frac{e^{-\lambda}\lambda^x}{x!}$$
$$ =\sum_{x=0}^{\infty} \frac{e^{-\lambda}\lambda^x}{(x-1)!}$$
$$ =\lambda \sum_{x=1}^{\infty} \frac{e^{-\lambda}\lambda^{x-1}}{(x-1)!} = \lambda $$

ポアソン分布の分散

$$E(X(X-1)) = \sum_{x=0}^{\infty}x(x-1) \frac{e^{-\lambda}\lambda^x}{x!}$$
$$ = \sum_{x=0}^{\infty} \frac{e^{-\lambda}\lambda^x}{(x-2)!}$$
$$ = \lambda^2 \sum_{x=2}^{\infty} \frac{e^{-\lambda}\lambda^{x-2}}{(x-2)!} =\lambda^2 $$

$$V(X)=E(X^2)-[ E(X) ]^2$$
$$ =E[X(X-1)] + E(X) -[ E(X) ]^2$$
$$ = \lambda^2 + \lambda – \lambda^2 = \lambda $$

ポアソン分布の再生性

XとYは独立にそれぞれポアソン分布λ1とλ2に従うとする。
$$P(Z=z) = \sum_{x=0}^{z} P(X=x, Y=z-x) $$
$$ = \sum_{x=0}^{z} P(X=x)P(Y=z-x) $$

$$ = \sum_{x=0}^{z} \frac{e^{-\lambda_1} \lambda_1^x }{x!} \frac{e^{-\lambda_2} \lambda_2^{z-x} }{(z-x)!} $$
$$ = \frac{e^{-(\lambda_1 + \lambda_2 )}(\lambda_1 + \lambda_2)^z}{z!} \sum_{x=0}^{z}\frac{z!}{x!(z-x)!}\left( \frac{\lambda_1}{\lambda_1+\lambda_2} \right)^x \left( \frac{\lambda_2}{\lambda_1+\lambda_2} \right)^{z-x} $$

二項分布の和は1になるので以下のように表される。
$$ = \frac{e^{-(\lambda_1 + \lambda_2 )}(\lambda_1 + \lambda_2)^z}{z!} $$
このように表されることを再生性があると呼ぶ。

5.超幾何分布

N個の製品からなる仕切りのなかで、M個の不良品があるとする。
非復元抽出でn個を抽出した際の、不良品の数をXとした際の確率分布は以下のように表される。

$$P(X=x)=\frac{{}_M \mathrm{C} _x \times {}_{N-M} \mathrm{C} _{n-x}}{{}_N \mathrm{C} _n} $$

xは非負の整数で

$$max \{ 0, n -(N-M) \} \leq x \leq min \{ n, M \}$$

に従うものとする。

ここで製品の数Nが標本nに比べて十分に大きい場合を考える。
$$\frac{{}_M \mathrm{C} _x \times {}_{N-M} \mathrm{C} _{n-x}}{{}_N \mathrm{C} _n} $$

$$ = \frac{M!}{x!\left( M-x \right)!} \times \frac{\left( N – M \right)! }{\left( n-x\right)! \left[ N-M -\left( n-x\right) \right]!} \times \frac{n! \left(N-n\right)!}{N!} $$
$$ = \frac{\left[ M(M-1)\dots (M-x+1)\right] }{x!(n-x)! \times \left[ N(N-1)\dots (N-n+1) \right]}$$
$$ \times \left[ (N-M)(N-M-1)\dots (N-M-n+x+1)\right]\times n! $$

組み合わせを使ってまとめると、分母と分子の数はn個であるから、分母分子にn個だけ1/Nを掛けると以下のようになる。
$$ = \frac{{}_n \mathrm{C} _x \times \frac{M}{N} \left( \frac{M}{N} – \frac{1}{N} \right) \dots \left( \frac{M}{N} – \frac{x-1}{N} \right) }{1 \left( 1 – \frac{1}{N} \right) \dots \left( 1 – \frac{n-1}{N} \right) } $$

$$ \times \left( \frac{N-M}{N} \right) \times \left( \frac{N-M}{N} – \frac{1}{N} \right) \dots \left( \frac{N-M}{N} – \frac{n-x-1}{N} \right) $$

ここで
$$ \theta = \frac{M}{N}$$
から、
$$ M = N\theta$$
として代入すると、

$$ = \frac{{}_n \mathrm{C} _x \times \theta \left( \theta – \frac{1}{N} \right) \dots \left( \theta – \frac{x-1}{N} \right) }{1 \left( 1 – \frac{1}{N} \right) \dots \left( 1 – \frac{n-1}{N} \right) } $$
$$ \times \left( 1-\theta \right) \times \left( (1-\theta) – \frac{1}{N} \right) \dots \left( (1-\theta) – \frac{n-x-1}{N} \right) $$

となる。
ここで、Nの極限を取ると以下のように、分母が全て1になり、以下のように表される。

$$ \lim_{N\to\infty}\frac{{}_M \mathrm{C} _x \times {}_{N-M} \mathrm{C} _{n-x}}{{}_N \mathrm{C} _n} $$
$$ = {}_n \mathrm{C} _x \theta^x \left( 1 – \theta \right)^{n-x} $$

これは二項分布と同じ形となる。
つまり、超幾何分布において、製品の数が十分に大きいと二項分布と同じになる。

超幾何分布の平均

$$ E(X) = \sum_{x=0}^{n} x \frac{ {}_M \mathrm{C} _x \times {}_{N-M} \mathrm{C} _{n-x}}{{}_N \mathrm{C} _n} $$

$$ = \frac{1}{ {}_N \mathrm{C} _n } \sum_{x=0}^{n} x \frac{M!}{(M-x)!x!} $$
$$ \times \frac{(N-M)!}{ \left[ N-M-(n-x) \right]! (n-x)!} $$

$$ = \frac{M}{ {}_N \mathrm{C} _n} \sum_{x=0}^{n} \frac{(M-1)!}{\left[ (M-1)-(x-1) \right]!(x-1)!} $$

$$ \times \frac{\left[ (N-1)-(M-1) \right]!}{\left[ (N-1)-(M-1)-\left[(n-1)-(x-1)\right] \right]! \left[ (n-1)-(x-1) \right]!}$$

$$ = \frac{M}{ {}_N \mathrm{C} _n} $$
$$ \times \sum_{x=0}^{n} {}_{M-1} \mathrm{C} _{x-1} \times {}_{(N-1) – (M-1)} \mathrm{C} _{(n-1)-(x-1)} $$

$$ = \frac{M}{ \frac{N!}{(N-n)!n!} } $$
$$ \times \sum_{x=0}^{n} {}_{M-1} \mathrm{C} _{x-1} \times {}_{(N-1) – (M-1)} \mathrm{C} _{(n-1)-(x-1)} $$

$$ = \frac{nM}{ \frac{(N-1)!N}{\left[ (N-1)-(n-1)\right]!(n-1)!} } $$
$$ \times \sum_{x=0}^{n} {}_{M-1} \mathrm{C} _{x-1} \times {}_{(N-1) – (M-1)} \mathrm{C} _{(n-1)-(x-1)}$$

$$ = \frac{nM}{N} $$
$$ \sum_{x=0}^{n} \frac{ {}_{M-1} \mathrm{C} _{x-1} \times {}_{(N-1) – (M-1)} \mathrm{C} _{(n-1)-(x-1)} }{ {}_{N-1} \mathrm{C} _{n-1} } $$

超幾何分布の和は確率分布のため、1になることから、
$$ = \frac{nM}{N}$$
となる。これは二項分布の平均と同じとなる。

いちいち計算するのが面倒なので、二項係数の公式をここに載せておきます。

$$ {}_n \mathrm{C} _r = {}_n \mathrm{C} _{n-r} $$
$$r {}_n \mathrm{C} _r = n {}_{n-1} \mathrm{C} _{r-1}$$
$$ {}_n \mathrm{C} _r = {}_{n-1} \mathrm{C} _{r} + {}_{n-1} \mathrm{C} _{r-1}$$

超幾何分布の分散

$$E(X(X-1))= \sum_{x=0}^{n} x(x-1) $$
$$ \times \frac{ {}_M \mathrm{C} _x \times {}_{N-M} \mathrm{C} _{n-x}}{{}_N \mathrm{C} _n} $$

二項係数の公式より、

$$ = \sum_{x=0}^{n} (x-1)$$
$$ \times \frac{ M \times {}_{M-1} \mathrm{C} _{x-1} \times {}_{N-M} \mathrm{C} _{n-x} \times n }{ N \times {}_{N-1} \mathrm{C} _{n-1} } $$

$$ = \sum_{x=0}^{n} M(M-1) \times n(n-1) $$
$$ \times \frac{ {}_{M-2} \mathrm{C} _{x-2} \times {}_{(N-2)-(M-2)} \mathrm{C} _{(n-2)-(x-2)} }{ N(N-1) \times {}_{N-2} \mathrm{C} _{n-2}} $$

超幾何分布の和が1であることから、
$$ n(n-1) \frac{M(M-1)}{N(N-1)} $$

$$V(X)=E(X^2)-[ E(X) ]^2$$
$$ =E[X(X-1)] + E(X) -[ E(X) ]^2$$
$$ = n(n-1) \frac{M(M-1)}{N(N-1)}+ \frac{nM}{N} – \frac{n^2M^2}{N^2} $$
$$ = \frac{nM}{N} \left[ (n-1) \frac{M-1}{N-1} + 1 – \frac{nM}{N} \right] $$
$$ = \frac{nM}{N} \left( 1 – \frac{M}{N} \right) \left( \frac{N-n}{N-1} \right) $$

超幾何分布の平均は二項分布と同じであったが、分散に関しては、
$$ \left( \frac{N-n}{N-1} \right) $$
だけ異なる。

6.幾何分布

復元抽出で、不良品が出るまで検査した際の観測された良品の数Xの確率分布は以下の幾何分布に従う。

$$P(X=x)=\theta ( 1-\theta)^x $$

幾何分布は無記憶性という性質を持っており、それは幾何分布のみが持つとされている。無記憶性はある時点から先に時点を進めた際に、過去の時点の影響が残らないことを指している。

$$P(X=x+h | X \geq x) = \frac{P(X=x+h)}{ \sum_{y=x}^{\infty} P(X=y) }$$

$$ = \frac{ \theta ( 1-\theta)^{x+h} }{ \sum_{y=x}^{\infty} \theta ( 1-\theta)^y } $$
$$ = \frac{ \theta ( 1-\theta)^{h} }{ \sum_{y=x+1}^{\infty} \theta ( 1-\theta)^y } $$
超幾何分布の和は1であるから、
$$ = \theta ( 1-\theta)^h $$
$$ = P(X=h) $$

幾何分布の平均

$$ E(X) = \sum_{x=0}^{\infty} x \theta ( 1-\theta)^x $$
$$ = \sum_{x=1}^{\infty} x \theta ( 1-\theta)^x $$
$$ = \theta \sum_{x=1}^{\infty} x ( 1-\theta)^x $$
$$ = \theta \frac{d \sum_{x=1}^{\infty} (1-\theta)^x}{d(1-\theta)}\times (1-\theta) $$
無限等比級数の和の公式より、
$$ = \theta \frac{d \left( \frac{1-\theta}{1-(1-\theta)} \right) }{d(1-\theta)}\times (1-\theta) $$
$$ = \theta \frac{d \frac{1-\theta}{\theta}}{d \theta} \times \frac{d \theta}{d(1-\theta)}\times (1-\theta)$$
$$ = \theta \frac{-\theta – (1 – \theta)}{\theta^2} \times \frac{1}{-1}\times (1-\theta)$$
$$ = \frac{1-\theta}{\theta}$$

幾何分布に関しては、べき級数の和を使うことが多いので、毎回書くのも大変なためここで紹介しておく。

$$ 1 + r + r^2 + r^3 + \dots = \sum_{k=0}^{\infty} r^k = \frac{1}{1-r}$$

両辺をrで微分すると、

$$ 1 + 2r + 3\times r^2 + \dots = \sum_{k=1}^{\infty} kr^{k-1} = \frac{1}{(1-r)^2}$$

さらに両辺をrで微分すると、

$$ 2 + 3\times2 r + 4\times 3 r^2 + \dots = \sum_{k=2}^{\infty} (k-1)kr^{k-2} = \frac{2}{(1-r)^3}$$

となる。

幾何分布の分散

$$ E(X(X-1)) = \sum_{x=0}^{\infty} x(x-1) \theta ( 1-\theta)^x $$
$$ = \theta (1-\theta)^2 \sum_{x=2}^{\infty} x(x-1) ( 1-\theta)^x $$
べき級数の和を用いると、
$$ = \theta (1-\theta)^2 \frac{2}{\left[ 1 – (1-\theta) \right]^3 }$$
$$ = \frac{2(1-\theta)^2}{\theta^2} $$

$$V(X)=E(X^2)-[ E(X) ]^2$$
$$ = E[X(X-1)] + E(X) -[ E(X) ]^2$$

$$ = \frac{2(1-\theta)^2}{\theta^2} + \frac{1-\theta}{\theta} – \frac{(1-\theta)^2}{\theta^2} = \frac{(1-\theta)^2 + \theta(1-\theta)}{\theta^2} $$

$$ = \frac{1-\theta}{\theta^2}$$

θの絶対値は1以下なので、幾何分布においては、分散が平均よりも大きくなることがわかる。

7.負の二項分布

r個の不良品が見つかるまでに観測した良品の数Xが従う確率分布で、以下のように表される。

$$P(X=x)={}_{r+x-1} \mathrm{C} _x \theta^r (1-\theta)^x$$
$$ x=0,1,2,\dots $$
負と呼ばれる所以は、以下のように組み合わせを負で表現できるところにある。

以下では実際に負で表現できるかを示す。
$$P(X=x)={}_{-r} \mathrm{C} _x \theta^r(\theta – 1)^x$$

$$ {}_{r+x-1} \mathrm{C} _x $$
$$ = \frac{(r+x-1)(r+x-2)\dots(r+1)r}{x!} $$

分子の数はx個あるので、おのおの-1を掛けると

$$ = (-1)^x \frac{(-r)(-r-1)\dots(-r-(x-2))(-r-(x-1))}{x!}$$

$$ = (-1)^x \frac{(-r)!}{(-r-x)!x!}$$
$$ = (-1)^x {}_{-r} \mathrm{C} _x $$
よって、
$$P(X=x)=(-1)^x {}_{-r} \mathrm{C} _x \theta^r (1-\theta)^x $$
$$ = {}_{-r} \mathrm{C} _x \theta^r (\theta-1)^x $$

負の二項分布の平均

$$E(X) = \sum_{x=0}^{\infty} x \times {}_{r+x-1} \mathrm{C} _x \theta^r (1-\theta)^x $$

$$ =\sum_{x=1}^{\infty} \frac{(r+x-1)!\theta^r (1-\theta)^x}{(x-1)!(r-1)!} $$
ここでx = y + 1 として
$$ =\sum_{y=0}^{\infty} \frac{(r+y)!\theta^r (1-\theta)^{y+1}}{(y+1-1)!(r-1)!} $$
$$ = \frac{r(1-\theta)}{\theta} \sum_{y=0}^{\infty} \frac{(r+y)! \theta^{r+1} (1-\theta)^{y}}{y!r!} $$

$$ = \frac{r(1-\theta)}{\theta} \times $$
$$ \sum_{y=0}^{\infty} \frac{(r+y)(r+y-1)\dots (r+1)}{y!} $$
$$ \times \theta^{r+1} (1-\theta)^{y} $$

$$ = \frac{r(1-\theta)}{\theta} \sum_{y=0}^{\infty} {}_{r+y} \mathrm{C} _{y} \theta^{r+1} (1-\theta)^y $$

ここで負の二項分布の和は1であることから、
$$ = \frac{r(1-\theta)}{\theta} $$
となる。

負の二項分布の分散

$$ E(X(X-1)) = \sum_{x=0}^{\infty} x(x-1) $$
$$ \times {}_{r+x-1} \mathrm{C} _x \theta^r (1-\theta)^x $$

$$ = \sum_{x=2}^{\infty} \frac{(x+r-1)(x+r-2)\dots r}{(x-2)!} \theta^r (1-\theta)^x $$

ここでx = y + 2 として

$$ = \sum_{y=0}^{\infty} \frac{(y+r+1)(y+r)\dots r}{y!} \theta^r (1-\theta)^{y+2} $$
$$ = \frac{r(r+1)(1-\theta)^2}{\theta^2} \sum_{y=0}^{\infty} \frac{(y+r+1)(y+r)\dots (r+2)}{y!} \theta^{r+2} (1-\theta)^{y} $$

$$ = \frac{r(r+1)(1-\theta)^2}{\theta^2} $$
$$ \times \sum_{y=0}^{\infty} {}_{r+y+1} \mathrm{C} _{y} \theta^{r+2} (1-\theta)^y $$

ここで負の二項分布の和は1であることから、
$$ = \frac{r(r+1)(1-\theta)^2}{\theta^2} $$

$$V(X)=E(X^2)-[ E(X) ]^2 $$
$$ = E[X(X-1)] + E(X) -[ E(X) ]^2$$

$$ = \frac{r(r+1)(1-\theta)^2}{\theta^2} + \frac{r(1-\theta)}{\theta} – \frac{r^2(1-\theta)^2}{\theta^2} $$

$$ = \frac{(1-\theta)^2r + (1-\theta)\theta r}{\theta^2} $$
$$ = \frac{(1-\theta)\left[ (1-\theta)r + \theta r \right]}{\theta^2} $$
$$ = \frac{r(1-\theta)}{\theta^2} $$

θの絶対値は1以下なので、負の二項分布においては、分散が平均よりも大きくなることがわかる。

おわりに

以上、これだけ導出を丁寧に書けば後で思い出せるだろうなというレベルで残したつもりですが、冗長的なところもあると思います。おかしなところがあったらご指摘ください。次は連続分布を扱う予定ですが、結構LaTeX書くの疲れますね。

参考文献

[1] 鈴木・山田 (1996), 『数理統計学―基礎から学ぶデータ解析』, 内田老鶴圃
[2] 緑川章一, “負の二項分布”
[3] abrahamcow (2014),”微分方程式によるポアソン分布の導出”
[4] 物理のかぎしっぽ, “定数係数1階線形微分方程式”
[5] 高校数学の美しい物語, “超幾何分布の意味と期待値の計算”