はじめに
前回は、離散型確率分布に関するよくある分布とその平均と分散の導出についてひたすら記しました。今回は連続型の確率分布に関して同様に記していこうと思います。
※PC版でないと数式が切れてしまうので、SP版での閲覧はおすすめしません。私、SKUEのスマホだけは表示崩れがないようにチェックしております。通勤電車で定期的に読むので。
今回登場する連続分布
『数理統計学―基礎から学ぶデータ解析』という本に登場するものを式を補いながら紹介します。
- 1.一様分布
- 2.正規分布
- 3.対数正規分布
- 4.ガンマ分布
- 5.指数分布
- 6.ワイブル分布
- 7.ベータ分布
- 8.コーシー分布
- 9.多項分布(2020-03-01追記)
- 10.ディリクレ分布(2020-03-01追記)
1.一様分布
離散型の一様分布に対応しており、
$$ f(x; \alpha, \beta) = \frac{1}{\beta – \alpha}, \alpha \leq x \leq \beta $$
で定義されます。
ここで、ある区間(a,b)が区間(α,β)に含まれるとした場合、Xが一様分布に従う際の確率は、
$$ P(X \in (a,b)) = \int_a^b \frac{1}{\beta – \alpha} dx = \frac{b-a}{\beta – \alpha} $$
となり、確率は区間の長さ(b-a)に比例し、その区間が(α,β)のどこにあってもよい。つまり、一様にどこでも一定の確率となることを示している。
また、一様分布から生成される変数は、ある確率分布に従うような乱数を、確率分布関数の逆数から生成させることができる。そのような乱数生成方法を逆関数法と呼ぶ。
逆関数法
[0,1]上の一様分布に従う確率変数をUとする。このとき、目的の確率分布の関数の逆関数に一様乱数Uを代入したものは、目的の確率分布に従う。Uが一様分布に従うことを式で示すと、
$$ P(U \leq u) = u, 0 \leq u \leq 1$$
ここで、
$$ U \leq u \Leftrightarrow F^{-1}(U) \leq F^{-1}(u) $$
であるから、
$$ P( F^{-1}(U) \leq F^{-1}(u) ) = u $$
となる。
さらに、\( F^{-1}(u) = x \)とおくと、
$$ P( F^{-1}(U) \leq x ) = F(x) $$
これは確率変数、\( F^{-1}(U) \)が累積分布関数が、\( F(x) \)であるような確率分布に従うことを表している。
一様分布の平均
$$ E(X) = \int_a^b xf(x) dx $$
$$ = \int_a^b x \frac{1}{b-a} dx$$
$$ = \left[ \frac{x^2}{2} \frac{1}{b-a} \right]^b_a $$
$$ = \frac{b^2 – a^2}{2(b-a)} $$
$$ = \frac{(b-a)(b+a)}{2(b-a)} $$
$$ = \frac{b+a}{2} $$
一様分布の分散
$$ E(X^2) = \int_a^b x^2f(x) dx $$
$$ = \int_a^b x^2 \frac{1}{b-a} dx $$
$$ = \left[ \frac{x^3}{3} \frac{1}{b-a} \right]^b_a $$
$$ = \frac{(b-a)(b^2 + ab + a^2)}{3(b-a)} $$
$$ = \frac{(b^2 + ab + a^2)}{3} $$
$$V(X)=E(X^2)-[ E(X) ]^2$$
$$ = \frac{(b^2 + ab + a^2)}{3} – \left( \frac{b+a}{2} \right)^2$$
$$ = \frac{(b^2 – 2ab + a^2)}{12} $$
$$ = \frac{(b – a)^2}{12} $$
2.正規分布
正規分布は以下のような式で定義される確率分布のことを指す。
$$ f(x; \mu, \sigma^2) = \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } $$
$$ -\infty < x < \infty , -\infty < \mu < \infty, \sigma > 0 $$
上の式で、μ=0、σ=1の場合は標準正規分布と呼ぶ。
実際に、正規分布に従う変数Xを標準化したもの\( Z = \frac{X-\mu}{\sigma} \)が標準正規分布に従うことを以下で示す。
$$ P(Z \leq z) = P(X \leq \mu + \sigma z) $$
$$ = \int_{-\infty}^{\mu + \sigma z} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx $$
ここで\( y = \frac{x-\mu}{\sigma} \)とすると、
$$ = \int_{-\infty}^{z} \frac{1}{ \sqrt{2 \pi} } e^{ – \frac{y^2}{2} }dy $$
となり、標準正規分布に従っていることがわかる。最後の積分の上限はもともとのxに対して、μを引き、σで割るという計算をすることで得られる。
また、正規分布の平均値や分散を計算する上で避けられない、ガウス積分について記しておく。
まず、
$$ I = \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx $$
とおき、xとyについての積分で$$ I^2 = \left[ \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx \right] \left[ \int_{-\infty}^{\infty} e^{-\frac{y^2}{2}} dy \right] $$$$ = \int_{-\infty}^{\infty} \!\!\! \int_{-\infty}^{\infty} e^{-\frac{x^2+y^2}{2}}dxdy $$
となるようにする。
ここで、重積分の変数変換を行う。\( x = r \cos \theta \)、\( y = r \sin \theta \)とし、dxdyをdθdrに変換するためにヤコビアンを用いて、
$$ = \int_{-\infty}^{\infty} \!\!\! \int_{-\infty}^{\infty} e^{-\frac{r^2}{2}} \left| \begin{array}{ccc} \frac{\partial x}{\partial r} & \frac{\partial y}{\partial r} \\ \frac{\partial x}{\partial \theta} & \frac{\partial y}{\partial \theta} \end{array} \right| d\theta dr $$
と置き換える。$$ = \int_{-\infty}^{\infty} \!\!\! \int_{-\infty}^{\infty} e^{-\frac{r^2}{2}} \left| \begin{array}{ccc} \cos \theta & \sin \theta \\ -r \sin \theta & r \cos \theta \end{array} \right| d\theta dr $$$$ = \int_{-\infty}^{2\pi} \!\!\! \int_{0}^{\infty} e^{-\frac{r^2}{2}} r d\theta dr $$
$$ = \left[ \theta \int_{0}^{\infty} e^{-\frac{r^2}{2}} r dr \right]^{2\pi}_0$$
$$ = 2\pi \int_{0}^{\infty} e^{-\frac{r^2}{2}} r dr $$
$$ = 2\pi \left[ – e^{ -\frac{r^2}{2} } \right]^{\infty}_0$$
$$ = 2\pi $$
よって、
$$ I = \sqrt{2\pi} $$
となる。
さっそく、ガウス積分を使って、正規分布の積分が1になることを示す。
$$ \int_{-\infty}^{\infty} f(x) dx $$
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx $$
ここで、\( z = \frac{x-\mu}{\sigma}\)とおき、\( \frac{dx}{dz}=\sigma\)から、
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} } e^{ – \frac{z^2}{2} } dz $$
となる。
ガウス積分の公式（\( \int_{-\infty}^{\infty} e^{-\frac{z^2}{2}} dz = \sqrt{2\pi} \) ）より、
$$ = \frac{1}{\sqrt{2 \pi}} \times \sqrt{2\pi} = 1 $$
正規分布の平均
$$ E(X) = \int_{-\infty}^{\infty} x \times \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx $$
ここで、\( z = \frac{x-\mu}{\sigma}\)とおき、\( \frac{dx}{dz}=\sigma\)から、
$$ = \int_{-\infty}^{\infty} (\mu + \sigma z) \times \frac{1}{ \sqrt{2 \pi} } e^{ – \frac{z^2}{2} } dz $$
第一項目は定積分が1になることから、第二項目は奇関数であることから定積分が0になるため、
$$ = \mu $$
となる。
正規分布の分散
$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \int_{-\infty}^{\infty} x^2 \times \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } dx – \mu^2 $$
ここで、\( z = \frac{x-\mu}{\sigma}\)とおき、\( x = \sigma z + \mu \)、\( \frac{dx}{dz}=\sigma\)から、
$$ = \int_{-\infty}^{\infty} (\sigma z + \mu)^2 \times \frac{1}{ \sqrt{2 \pi}} e^{ – \frac{z^2}{2} } dz – \mu^2 $$
ここで、第二項目は奇関数であることから定積分が0になるため、第三項目は定積分が1になることから、第三項目と第四項目が消し合うため、
$$ = \int_{-\infty}^{\infty} \sigma^2 z^2 \frac{1}{ \sqrt{2 \pi}} e^{ – \frac{z^2}{2} } dz $$
となる。
部分積分の公式より、
第一項目はガウス積分に他ならないため、
$$ = \frac{\sigma^2}{\sqrt{2 \pi}} ( – \sqrt{2 \pi} + 2 \sqrt{2 \pi} ) $$
となり、
$$ = \sigma^2 $$
となる。
3.対数正規分布
正の値をとる確率変数Xを対数変換したものが正規分布に従うとした分布を対数正規分布と呼ぶ。
$$ f(x; \mu, \sigma^2) = \frac{1}{ \sqrt{2 \pi} \sigma x } e^{ – \frac{( \log x-\mu)^2}{2\sigma^2} } , x > 0$$
対数正規分布は以下のように正規分布から導出することができる。
\( f_x(x) = \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(x-\mu)^2}{2\sigma^2} } \)とし、\( x = g(y) = e^y \)とおき、以下の分布関数について以下のように変形する。
$$ F_x (x) = \int_{-\infty}^{x} f_x(t)dt $$
$$ = \int_{-\infty}^{x} f_y(g^{-1}(x)) \frac{dt}{dx} dx $$
$$ = \int_{-\infty}^{x} f_y(g^{-1}(x)) \frac{d g^{-1}(x) }{dx} dx $$
ここで両辺をxで微分すると、
$$ f_x(x) = f_y(g^{-1}x) \frac{d g^{-1}(x) }{dx} $$
$$ = f_y( \log x) \frac{1}{x} $$
$$ = \frac{1}{ \sqrt{2 \pi} \sigma x } e^{ – \frac{( \log x-\mu)^2}{2\sigma^2} } $$
対数正規分布の平均
$$ E(X) = E(e^y) $$
$$ = \int_{-\infty}^{\infty} e^y g(y) dy $$
$$ = \int_{-\infty}^{\infty} e^y \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(y-\mu)^2}{2\sigma^2} } dy $$
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{( y – \mu – \sigma^2 )^2}{2\sigma^2} + \mu + \frac{\sigma^2}{2} } dy $$
ここで、\( y – \mu – \sigma^2 = t \)とすると、
$$ = e^{\mu + \frac{\sigma^2}{2}} \frac{1}{ \sqrt{2 \pi} \sigma } \int_{-\infty}^{\infty} e^{-\frac{t^2}{2\sigma^2} } dt $$
となり、定積分の値はガウス積分の公式より\( \sqrt{2\pi} \sigma \)なので、
$$ = e^{\mu + \frac{\sigma^2}{2}} $$
対数正規分布の分散
$$ E(X^2) = E(e^{2y}) $$
$$ = \int_{-\infty}^{\infty} e^{2y} g(y) dy $$
$$ = \int_{-\infty}^{\infty} e^{2y} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{(y-\mu)^2}{2\sigma^2} } dy $$
$$ = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi} \sigma } e^{ – \frac{1}{2\sigma^2} \left( y – (\mu + 2\sigma^2 ) \right)^2 + 2\mu + 2\sigma^2 } dy $$
ここで、\( y – 2\sigma^2 = s \)とすると、
$$ = e^{2\mu + 2\sigma^2} \frac{1}{ \sqrt{2 \pi} \sigma } \int_{-\infty}^{\infty} e^{ – \frac{(s-\mu)^2}{2\sigma^2} } ds $$
ここで、\( s – \mu = t \)とおき、ガウス積分の公式を用いると、
$$ = e^{2\mu + 2\sigma^2} $$
$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = e^{2\mu + 2\sigma^2} – e^{2\mu + \sigma^2} $$
$$ = e^{2\mu + \sigma^2} (e^{\sigma^2} – 1) $$
4.ガンマ分布
と表される確率密度関数をもつ分布をガンマ分布と呼ぶ。
\( \alpha, \beta \)の2つのパラメータを持ち、様々な形になり、正の値をとる変数の確率分布のモデルとして使われる。
ガンマ分布はポアソン過程から導出することができる。その際は、ガンマ関数が階乗の一般化であるという性質を使う。
まずガンマ関数が階乗の一般化であることの証明を行う。
まず、ガンマ関数は以下のように定義される。
$$ \Gamma (\alpha) = \int_{0}^{\infty} e^{-t} t^{\alpha – 1} dt $$
\( \alpha = 1 \)の場合、
$$ \Gamma (1) = \int_{0}^{\infty} e^{-t} dt $$
$$ = \left[ -e^{-t} \right]^{\infty}_{0} = 1 $$任意の正の整数nに対して、
$$ \Gamma (n ) = \int_{0}^{\infty} e^{-t} t^{ n – 1} dt $$
部分積分の公式より、$$ = \left[ -e^{-t} t^{n-1} \right]^{\infty}_{0} + (n-1)\int_{0}^{\infty} e^{-t}t^{n-2}dt$$第1項目は0に、第2項目はガンマ関数の定義から以下のようになる。
$$ = (n-1) \Gamma (n-1) $$
以上より、逐次的に代入することで、
$$ \Gamma (n+1) = n! \Gamma (1) = n! $$
となる。
以下、ポアソン過程からガンマ分布を導出する。
まず、分布関数
$$ F_n(t) = P( Y_n \le t ) = P(X_t \ge n) $$
を考える。tや\( Y_n \)はn回の事象が生じるまでの時間を表し、\( X_t \)は事象の回数を表している。
\( F_n \)はポアソン分布に従うため、
$$ = \sum _{x=n}^{\infty} \frac{e^{-\lambda t} (\lambda t)^x }{x!} $$
と表され、全事象からn-1回分までの確率を差し引くことによっても表される。
$$ = 1 – \sum _{x=0}^{n-1} \frac{e^{-\lambda t} (\lambda t)^x }{x!} $$
\(Y_n \)の密度関数は分布関数をtで微分することによって得られる。
$$ \frac{d F_n (t)}{dt} = \sum _{x=0}^{n-1} \frac{\lambda e^{-\lambda t} (\lambda t)^x }{x!} – \sum _{x=1}^{n-1} \frac{\lambda e^{-\lambda t} \lambda^x t^{x-1} }{(x-1)!} $$
最後の項以外はキャンセルアウトされるため、
$$ = \frac{\lambda^n t^{n-1}e^{-\lambda t}}{(n-1)!} $$
となり、先程示したガンマ関数が階乗の一般系であることの証明から、
$$ = \frac{\lambda^n}{\Gamma (n) } t^{n-1}e^{-\lambda t} $$
となり、これはガンマ分布である。つまり、ポアソン過程に従う確率分布を時間で微分することでガンマ分布は得られる。
また、ガンマ分布には再生性があり、モーメント母関数を用いたり、確率分布の畳込みを用いての証明などがある。
ガンマ分布の平均
$$ E(X) = \int_{0}^{\infty} x \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha – 1}e^{-\beta x} dx $$
$$ = \int_{0}^{\infty} \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha}e^{-\beta x} dx $$
部分積分の公式より、
$$ \frac{ \beta^{\alpha} }{ \Gamma ( \alpha )} \left[ \frac{ x^{\alpha} e^{-\beta x} }{ -\beta } \right]^{\infty}_0 – \frac{ \beta^{\alpha} }{ \Gamma ( \alpha )} \int_{0}^{\infty} \frac{ \alpha x^{\alpha – 1}e^{-\beta x}}{-\beta} dx $$
第1項目は0になるため、
$$ = \frac{\alpha}{\beta} \int_{0}^{\infty} \frac{\beta^{\alpha} x^{\alpha-1}e^{-\beta x}}{\Gamma (\alpha) } $$
となり、ガンマ分布の定積分は1であることから、
$$ = \frac{\alpha}{\beta} $$
となる。
ガンマ分布の分散
$$ E(X^2) = \int_{0}^{\infty} x^{2} \frac{\beta^{\alpha} }{ \Gamma (\alpha) } x^{\alpha – 1}e^{-\beta x} dx $$
$$ = \frac{\beta^{\alpha}}{\Gamma (\alpha) } \int_{0}^{\infty} x^{\alpha + 1}e^{-\beta x} dx $$
部分積分の公式より、
$$ = \frac{\beta^{\alpha}}{\Gamma (\alpha) } \left[ \frac{x^{\alpha + 1}e^{-\beta x}}{- \beta } \right]^{\infty}_0 $$
$$ – \frac{\beta^{\alpha}}{\Gamma (\alpha) } \int_{0}^{\infty} \frac{(\alpha + 1)}{- \beta} x^{\alpha}e^{-\beta x} dx $$
第1項目は0になるため、
$$ = \frac{ (\alpha + 1) \beta^{\alpha-1}}{\Gamma (\alpha) } \int_{0}^{\infty} x^{\alpha}e^{-\beta x} dx $$
となり、ガンマ関数の性質より、\( \Gamma (\alpha + 1) = \alpha \Gamma (\alpha) \)から、
$$ = \alpha \beta^{-2} (\alpha + 1) \int_{0}^{\infty} \frac{\beta^{\alpha + 1}}{\Gamma (\alpha + 1)}x^{\alpha} e^{-\beta x} dx $$
ガンマ分布の定積分が1であることから、
$$ = \alpha \beta^{-2} (\alpha + 1) $$
となる。
$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \alpha \beta^{-2} (\alpha + 1) – \frac{\alpha^{2}}{\beta^{2}} $$
$$ = \frac{\alpha}{\beta^2} $$
5.指数分布
ガンマ分布の特別なケースとして、\( \alpha = 1, \beta = \frac{1}{\theta} \) とした、
$$ f(x; \theta) = \frac{1}{\theta} e^{-\frac{1}{\theta}x} , x > 0, \theta > 0 $$
の形をした分布を指数分布と呼ぶ。これはポアソン過程における\( n=1 \)、つまり初めて事象が起こるまでの時間の分布を表している。加えて、無記憶性があるため、幾何分布の連続型版と考えることもできる。
無記憶性について
$$ P(X > x + h | X > x) = \frac{\int^{\infty}_{x+h} \frac{1}{\theta} e^{-\frac{y}{\theta}} dy }{ \int^{\infty}_{x} \frac{1}{\theta} e^{-\frac{y}{\theta}} dy } $$$$ = \frac{ \left[ \left( – \frac{1}{\theta} \right) e^{-\frac{y}{\theta}} \right]^{\infty}_{x+h} }{ \left[ \left( – \frac{1}{\theta} \right) e^{-\frac{y}{\theta}} \right]^{\infty}_{x} } $$
$$ = \frac{-e^{-\frac{x+h}{\theta}}}{-e^{-\frac{x}{\theta}}} = e^{-\frac{h}{\theta}} $$
よって、確率密度がこれまでの時間には依存しないことがわかる。
ハザードレートについて
あるt時点での確率密度を、t時点までの確率分布を1から引いたもので割ったものをハザードレートとする。（事象が起きるまでの確率1単位あたりの確率密度）
$$ \frac{f(t; \theta)}{1 – F(t;\theta)} = \frac{ \frac{1}{\theta} e^{-\frac{1}{\theta} t} }{ \int^{\infty}_{t} \frac{1}{\theta} e^{-\frac{1}{\theta} x} dx } $$
$$ = \frac{ \frac{1}{\theta} e^{-\frac{1}{\theta} t} }{ \left[ -e^{\frac{1}{\theta}x} \right]^{\infty}_{t} } = \frac{1}{\theta} $$
よって、tによらず一定であることがわかる。これは製品の寿命の分布と考えるに際して、時間を通じて寿命をむかえる確率が一定という指数分布の性質はクレイジーなものと思われますね。
ここで、指数分布の平均や分散を計算する上で必要な極限について取り上げておきます。
\( xe^{-x} \)の極限について
\( x > 0 \)として、
$$ x < 2^{x} $$
とし、両辺に\( e^{-x} \)をかけると、
$$ x e^{-x} < 2^{x} e^{-x} $$ここで右辺に関して極限を取ると、
$$ \lim_{x \to \infty} 2^{x} e^{-x} = \lim_{x \to \infty} \left( \frac{2}{e} \right)^x = 0 $$
となる。
よって、
$$ \lim_{x \to \infty} x e^{-x} = 0 $$
となる。
\( x^n e^{-x} \)の極限について
\( x > 0 \)として、
$$ f(x) = x^{n+1}e^{-x} $$
を考える。
これを微分すると、
$$ f'(x) = (n+1)x^{n}e^{-x} – x^{n+1}e^{-x} $$
$$ = x^ne^{-x}(n+1-x) $$
ここで、\( f'(x) = 0 \)とすると、
$$ x = n+1 $$
となり、最大値は
$$ f(n+1) = (n+1)^{n+1} e^{-(n+1)} $$
となる。そこで以下の不等式から$$ 0 < x^ne^{-x} = x^{n+1}e^{-x}x^{-1} \le (n+1)^{n+1}e^{-(n+1)}x^{-x} $$最後の式について極限を取ると、
$$ \lim_{x \to \infty} (n+1)^{n+1}e^{-(n+1)}x^{-x} = 0 $$
となり、はさみうちされるため、
$$ \lim_{x \to \infty} x^n e^{-x} = 0$$
となる。
指数分布の平均
$$ E(X) = \int_{0}^{\infty} x \frac{1}{\theta} e^{ – \frac{1}{ \theta } x } dx $$
部分積分の公式より、
$$ = \left[ x \frac{-\theta}{\theta} e^{- \frac{1}{\theta}x} \right]^{\infty}_{0} -\int_{0}^{\infty} \frac{1}{\theta} (-\theta) e^{-\frac{1}{\theta}x} dx $$
\( xe^{-x} \)の極限より、第1項目は0になるため、
$$ = \int_{0}^{\infty} e^{-\frac{1}{\theta}x}dx $$
また指数分布の定積分が1であることから、
$$ = \theta \int_{0}^{\infty} \frac{1}{\theta} e^{-\frac{1}{\theta}x}dx = \theta $$
となる。
指数分布の分散
$$ E(X^2) = \int_{0}^{\infty} x^2 \frac{1}{\theta} e^{ – \frac{1}{ \theta } x } dx $$
部分積分の公式より、
$$ = \left[ x^2 \frac{-\theta}{\theta} e^{- \frac{1}{\theta}x} \right]^{\infty}_{0} – \int_{0}^{\infty} \frac{1}{\theta} (-\theta) 2x e^{-\frac{1}{\theta}x} dx $$
\( x^n e^{-x} \)の極限より、第1項目は0になるため、
$$ = \int_{0}^{\infty} 2x e^{-\frac{1}{\theta}x} dx $$
再び、部分積分の公式より、
$$ = 2 \left[ x( – \theta )e^{ – \frac{1}{ \theta } x } \right]^{\infty}_{0} – 2 \int_{0}^{\infty} ( – \theta )e^{-\frac{1}{\theta}x}dx $$
\( x e^{-x} \)の極限より、第1項目は0になるため、
$$ = 2 \int_{0}^{\infty} (\theta)e^{-\frac{1}{\theta}x}dx $$
$$ = 2 \theta^2 \int_{0}^{\infty} \frac{1}{\theta} e^{-\frac{1}{\theta}x}dx $$
指数分布の定積分が1であることから、
$$ = 2\theta^2 $$
$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = 2\theta^2 – \theta^2 = \theta^2 $$
6.ワイブル分布
の確率密度に従う分布をワイブル分布と呼び、\( \alpha = 1 \)のときは指数分布になる。
ハザードレートについて
あるt時点での確率密度を、t時点までの確率分布を1から引いたもので割ったものをハザードレートとする。（事象が起きるまでの確率1単位あたりの確率密度）
$$ \frac{f(t; \alpha, \beta)}{1 – F(t;\alpha, \beta)} = \frac{\beta \alpha t^{\alpha – 1} e^{-\beta t^{\alpha}}}{\int_{t}^{\infty}\beta \alpha x^{\alpha – 1}e^{-\beta x^{\alpha}}dx} $$ここで、分母についてのみ注目して、\( z = x^{\alpha} \)と変数変換すると、\( \frac{dx}{dz} = \frac{1}{\alpha} z^{\frac{1}{\alpha}-1} \)から、
$$ \int_{t}^{\infty}\beta \alpha x^{\alpha – 1}e^{-\beta x^{\alpha}}dx = \beta \int_{t^{\alpha}}^{\infty} e^{-\beta z}dz $$$$ = \beta \left[ – \frac{1}{\beta} e^{-\beta z} \right]^{\infty}_{t^{\alpha}} = e^{\beta t^{\alpha}} $$
よってハザードレートは、
$$ \frac{f(t; \alpha, \beta)}{1 – F(t;\alpha, \beta)} = \beta \alpha t^{\alpha -1} $$
となる。これは時間とともにハザードレートが高くなるという性質を示しており、全ての対象に対して、寿命に関して時間に対して単調増加を想定するのは誤りだろう。
ワイブル分布の平均
$$ E(X) = \int_{-\infty}^{\infty} x \beta \alpha x^{\alpha-1}e^{-\beta x^{\alpha}} dx $$
\( z = \beta x^{\alpha} \)として変数変換すると、\( \frac{dx}{dz} = \frac{1}{\alpha} z^{\frac{1}{\alpha}-1} \beta ^{-\frac{1}{\alpha}} \)から、
$$ = \int_{-\infty}^{\infty} \left( \frac{z}{\beta} \right)^{\frac{1}{\alpha}} \beta \alpha \left( \frac{z}{\beta} \right)^{\frac{\alpha – 1}{\alpha}} e^{-z} \frac{1}{\alpha}z^{\frac{1}{\alpha}-1} \beta ^{-\frac{1}{\alpha}} dz $$
$$ = \beta^{-\frac{1}{\alpha}} \int_{-\infty}^{\infty} z^{\frac{1}{\alpha}} e^{-z}dz $$
ガンマ関数の定義より、
$$ = \beta^{-\frac{1}{\alpha}} \Gamma \left( \frac{1}{\alpha} + 1 \right) $$
ワイブル分布の分散
$$ E(X^2) = \int_{-\infty}^{\infty} x^2 \beta \alpha x^{\alpha-1}e^{-\beta x^{\alpha}} dx $$
\( z = \beta x^{\alpha} \)として変数変換すると、
$$ = \int_{-\infty}^{\infty} \left( \frac{z}{\beta} \right)^{\frac{2}{\alpha}} \beta \alpha \left( \frac{z}{\beta} \right)^{\frac{\alpha – 1}{\alpha}} e^{-z} \frac{1}{\alpha}z^{\frac{1}{\alpha}-1} \beta ^{-\frac{1}{\alpha}} dz $$
$$ = \beta^{-\frac{2}{\alpha}} \int_{-\infty}^{\infty} z^{\frac{2}{\alpha}} e^{-z}dz $$
ガンマ関数の定義より、
$$ = \beta^{-\frac{2}{\alpha}} \Gamma \left( \frac{2}{\alpha} + 1 \right) $$
となる。
$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \beta^{-\frac{2}{\alpha}} \Gamma \left( \frac{2}{\alpha} + 1 \right) – \left[ \beta^{-\frac{1}{\alpha}} \Gamma \left( \frac{1}{\alpha} + 1 \right) \right]^2 $$
$$ = \beta^{-\frac{2}{\alpha}} \left[ \Gamma \left( \frac{2}{\alpha} + 1 \right) – \Gamma^2 \left( \frac{1}{\alpha} + 1 \right) \right] $$
7.ベータ分布
ただし、\( B(\alpha, \beta) = \int_{0}^{1} x^{\alpha – 1}(1-x)^{\beta – 1} dx \)とする。この確率密度に従う分布をベータ分布と呼び、(0, 1)上の確率現象などをモデリングする際に用いられる。
ベータ関数の復習
ベータ関数は任意の2つの正定数x,yに対して定義される2変数関数で、
$$ B(x, y) = \int_{0}^{1} t^{x – 1}(1-t)^{y – 1} dt $$
で表され、収束する。
証明は区間を\( (0,\frac{1}{2}] \)と\( [ \frac{1}{2}, 1) \)に分けた積分について、各項が収束することを示すことによりなされる。
・ベータ関数の非負性、対称性
$$ B(x,y) > 0 $$
$$ B(x,y) = B(y,x) $$
対称性の証明は\( s = 1 – t \)と変数変換することで容易に示される。
・ベータ関数を三角関数の積分に変数変換
$$ B(x, y) = 2 \int_{0}^{\frac{\pi}{2}} \sin ^{2x-1} \theta \cos ^{2y – 1} \theta d \theta $$証明は、\( t = \sin^2 \theta \)として変数変換をすることで容易に示される。
・ベータ関数とガンマ関数の関係について
$$ B(x, y) = \frac{ \Gamma (x) \Gamma (y) }{ \Gamma (x+y) } $$
証明はガンマ関数の定義式について、\( t = s^2 \)と変数変換を行い、極座標の変換公式を用いてから、三角関数で表現できるベータ関数を用いることで示される。
ベータ分布の平均
ベータ関数とガンマ関数の関係、\( B(x, y) = \frac{ \Gamma (x) \Gamma (y) }{ \Gamma (x+y) } \)から、
$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + \beta ) }{ \Gamma (\alpha) \Gamma (\beta) } x^{\alpha}(1-x)^{\beta – 1} dx $$
ガンマ関数の性質\( \Gamma ( x + 1 ) = x \Gamma (x) \)より、
$$ = \frac{\alpha}{\alpha + \beta} \int_{0}^{1} \frac{ \Gamma (\alpha + 1 + \beta ) }{ \Gamma (\alpha + 1) \Gamma (\beta) } x^{\alpha}(1-x)^{\beta – 1} dx $$
ベータ分布の定義より、定積分が1になることから、
$$ = \frac{\alpha}{\alpha + \beta} $$
ベータ分布の分散
$$ E(X^2) = \int_{0}^{1} x^2 \frac{1}{B(\alpha, \beta)}x^{\alpha – 1}(1-x)^{\beta – 1} dx $$
$$ = \int_{0}^{1} \frac{ \Gamma (\alpha + \beta ) }{ \Gamma (\alpha) \Gamma (\beta) } x^{\alpha+1}(1-x)^{\beta – 1} dx $$
ガンマ関数の性質より、
さらに、ガンマ関数の性質より、
整理すると、
となる。ベータ分布の定義より、定積分が1になることから、
$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} $$
となる。
$$ V(X) = E(X^2) – \left[ E(X) \right]^2 $$
$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} – \left[ \frac{\alpha}{\alpha + \beta} \right]^2 $$
$$ = \frac{\alpha(\alpha + 1)}{(\alpha + \beta) (\alpha + \beta + 1)} – \frac{\alpha^2}{(\alpha + \beta)^2} $$
$$ = \frac{\alpha(\alpha+1)(\alpha+\beta) – \alpha^2(\alpha + \beta +1)}{(\alpha + \beta)^2(\alpha + \beta +1)} $$
$$ = \frac{\alpha \beta}{(\alpha + \beta)^2(\alpha + \beta +1)} $$
8.コーシー分布
という確率密度に従う分布をコーシー分布と呼ぶ。裾が長く、大きい値や小さい値を取る確率がなかなか0に近づかない分布とされる。
また、コーシー分布の特徴としては平均や分散を持たないことがあげられる。身近な活用例としては、株価の分析に使われたり、ベイズ統計学における無情報事前分布として半コーシー分布というものが用いられることがある。
ここで、\( x – \theta = z \)として、コーシー分布の平均を考える。
$$ E(X) = \int_{-\infty}^{\infty} z \frac{1}{\pi} \frac{1}{1+z^2} dz $$
上限をb、下限をaとすると、
$$ = \frac{1}{\pi} \int_{a}^{b} \frac{z}{1+z^2} dz$$
$$ = \frac{1}{\pi} \left[ \frac{1}{2} \log (1+z^2) \right]^b_a $$
$$ = \frac{1}{\pi 2} \log (1+b^2) – \frac{1}{\pi 2} \log (1+a^2) $$
ここで、aとbについて極限をとると、
となり、これは不定となり極限値は存在しない。よって、平均値は存在しないため、分散も同様に存在しない。各々の項が無限にランダムに向かうため特定の値に収束することはないというイメージをするとわかりやすい。
9.多項分布
$$P(X_1=x_1, X_2=x_2, \dots, X_k=x_k) \\
:= \frac{n!}{x_1! x_2! \dots x_k!} \theta_1^{x_1} \theta_2^{x_2} \dots \theta_k^{x_k} \\
x_1, x_2, \dots x_k = 0, 1, \dots , n \\
x_1 + x_2 + \dots + x_k = n
$$
\( X_i \)は事象\( A_i \)の起こった回数を表し、\( x_i \)はその実現値を表す。事象\( A_i \)は標本空間において試行した結果として生じる。その試行は独立でn回繰り返しなされる。\( \theta_i = P( A_i ) \)である。
多項分布の期待値と分散の計算のために周辺結合分布を用いる必要があるため、ここでは多項分布の周辺化を行う。
\( X_i \)と\( X_j \)の周辺化
$$ P(X_i=x_i, X_j=x_j) \\
= \sum _{ \underset{ < i,j > } { x_1,\dots , x_k } } \frac{n!}{x_1! \dots x_k!} \theta_1^{x_1} \theta_2^{x_2} \dots \theta_k^{x_k} $$
\( x_i \)と\( x_j \)の項はここでは合計の対象として除かれるので、以下のように書き表すことができる。ただし後半の表現が一見すると何も変化がないように見えるため注意されたい。
$$ = \frac{ \theta_i^{x_i} \theta_j^{x_j} }{ x_i!x_j! } \sum _{ \underset{ < i,j > } { x_1,\dots , x_k } } \frac{n!}{x_1! \dots x_k!} \theta_1^{x_1} \theta_2^{x_2} \dots \theta_k^{x_k} $$
後半の部分はiとjを除いた多項分布のため、1となることから、
$$ = \frac{ n!}{ (n – x_i – x_j)! x_i! x_j! } \theta_i^{x_i} \theta_j^{x_j} (1 – \theta_i – \theta_j)^{n- x_i – x_j} $$
これは3項分布に他ならない。つまり、多項分布の2つの変数の周辺分布は3項分布となる。
\( X_i \)の周辺化
先程と同様にして周辺化を行う。
$$ P(X_i=x_i) = \sum _{ \underset{ < i > } { x_1,\dots , x_k } } \frac{n!}{x_1! \dots x_k!} \theta_1^{x_1} \theta_2^{x_2} \dots \theta_k^{x_k} $$
$$ = \frac{ \theta_i^{x_i} }{ x_i!} \sum _{ \underset{ < i > } { x_1,\dots , x_k } } \frac{n!}{x_1! \dots x_k!} \theta_1^{x_1} \theta_2^{x_2} \dots \theta_k^{x_k} $$
$$ = \frac{ n! }{ (n – x_i)! x_i!} \theta_i^{x_i} (1 – \theta_i )^{n- x_i } \\
= {}_n C _{x_i} \theta_i^{x_i} (1 – \theta_i )^{n- x_i } $$
これは二項分布であることから、多項分布の一つの変数についての周辺分布は2項分布となる。
多項分布の平均
多項分布の期待値は二項分布のものと同じになる。
$$ E(X_i) = \sum _{ x_i \geq 0 , x_i \leq n } x_i \frac{ n! }{ (n – x_i)! x_i!} \theta_i^{x_i} (1 – \theta_i )^{n- x_i } $$
$$ = n \theta_i $$
多項分布の分散
多項分布の分散は二項分布のものと同じになる。
$$ V(X) = E(X^2) – \left [ E(X) \right ]^2 \\
= E(X(X-1)) + E(X) – \left [ E(X) \right ]^2
$$
$$ E(X_i(X_i-1)) \\
= \sum _{ x_i \geq 0 , x_i \leq n } x_i(x_i – 1) \frac{ n! }{ (n – x_i)! x_i!} \theta_i^{x_i} (1 – \theta_i )^{n- x_i } $$
\sum _{ x_i \geq 2 , x_i \leq n } x_i \frac{ (n-2)! }{ (x_i – 2)! \\{(n-2) – (x_i – 2)\\}! } \theta_i^{x_i-2} (1 – \theta_i )^{(n-2)- (x_i-2) } $$
$$= n(n-1) \theta_i^2$$
$$ V(X) = E(X(X-1)) + E(X) – \left [ E(X) \right ]^2 \\
= n(n-1) \theta_i^2 + n \theta_i – ( n \theta_i )^2 \\
= n \theta_i (1 – \theta_i)
$$
多項分布の共分散
E(X_i X_j) = \sum _{ x_i,x_j \geq 0 \\\ x_i + x_j \leq n } x_i x_j \frac{n!}{x_i! x_j!(n-x_i-x_j)!} \theta_i^{x_i}\theta_j^{x_j}(1-\theta_i – \theta_j)^{n-x_i-x_j}
$$
$$ = n(n-1)\theta_i \theta_j $$
$$ Cov(X_i, X_j) = E( X_i X_j ) – E(X_i) E(X_j) \\
= n(n-1)\theta_i \theta_j – n\theta_i n\theta_j \\
= – n \theta_i \theta_j
$$
多項分布の条件付き分布
\( X_j = x_j \)のときの\( X_i \)の条件付き分布は\( P(X_i = x_i | X_j = x_j) = \frac{P(X_i \cap X_j)}{P(X_j)} \)より、
$$ = {}_{n-x_j} C _{x_i} \hat \theta_i ^{x_i}(1 – \hat \theta_i)^{(n-x_j)-x_i} $$
$$ \hat \theta_i = \frac{\theta_i}{1-\theta_j} $$
よってこれは二項分布であるから、多項分布の\( X_j = x_j \)のときの\( X_i \)の条件付き分布は二項分布に従うことがわかる。
10.ディリクレ分布
ディリクレ分布は\( \sum_{i=1}^{m} \theta_i = 1, \theta_i \geq 0 \)を満たす\( \theta_1, \dots , \theta_m \)の集合からなる。
ディリクレ分布の確率密度関数は以下の形をとる。
$$ f(\theta_1, \dots , \theta_m) = \frac{\Gamma (A)}{ \prod_{i=1}^{m} \Gamma (\alpha_i) } \prod_{i=1}^{m} \theta_i^{\alpha_i – 1} \\
A = \sum_{i=1}^{m} \alpha_i \\
\alpha_i > 0, \quad i = 1, \dots , m
$$
\( m = 2 \)のとき、ディリクレ分布はベータ分布の特殊型になる。
$$ f(\theta_1, \theta_2) = \frac{ \Gamma ( \alpha_1 + \alpha_2 ) }{ \Gamma (\alpha_1) \Gamma (\alpha_2) } \theta_1^{\alpha_1 – 1} \theta_2^{\alpha_2 – 1} $$
ディリクレ分布の平均
ここでは\(
\begin{cases}
\alpha_i^{\prime} = \alpha_i \quad i \neq j \\
\alpha_j^{\prime} = \alpha_j + 1 \quad i = j \\
\end{cases}
\)となる。
積分以降はディリクレ分布の定義より1なので、以下のように表される。
$$ = \frac{\Gamma(A)}{\Gamma(A+1)} \frac{\Gamma(\alpha_j + 1)}{\Gamma(\alpha_j)} $$
ガンマ関数の定義より、
$$ = \frac{\Gamma(A)}{\Gamma(A)A } \frac{\Gamma(\alpha_j)\alpha_j}{\Gamma(\alpha_j)} $$
となることから、
$$ = \frac{\alpha_j}{A} $$
となる。
ディリクレ分布の分散
分散は以下の式より求まる。
$$ V(\theta_j) = E \left( \theta_j^2 \right) – \left [ E(\theta_j) \right ]^2 $$
$$ = \frac{\Gamma(A)}{\Gamma(A+1)(A+1)} \frac{\Gamma(\alpha_j + 1)(\alpha_j + 1)}{\Gamma(\alpha_j)} $$
$$ = \frac{\Gamma(A)}{\Gamma(A)A(A+1)} \frac{\Gamma(\alpha_j)\alpha_j(\alpha_j + 1)}{\Gamma(\alpha_j)} $$
$$ = \frac{\alpha_j (\alpha_j + 1)}{A(A+1)} $$
$$ V(\theta_j) = E \left( \theta_j^2 \right) – \left [ E(\theta_j) \right ]^2 \\
= \frac{\alpha_j (\alpha_j + 1)}{A(A+1)} – \left ( \frac{\alpha_j}{A} \right )^2 \\
= \frac{\alpha_j}{A(A+1)} – \frac{\alpha_j^2}{A^2(A+1)}
$$
多変量正規分布
追記予定
多変量正規分布の平均
追記予定
多変量正規分布の分散
追記予定
参考文献
[1] 鈴木・山田 (1996), 『数理統計学―基礎から学ぶデータ解析』, 内田老鶴圃
[2] 原隆 , “微分積分続論 SII-15 クラス” , 九州大学の講義資料
[3] 高校数学の美しい物語 , “ガウス積分の公式の２通りの証明”
[4] 高校数学の美しい物語 , “偶関数と奇関数の意味，性質などまとめ”
[5] 小杉考司 (2015) ,”Cauchy分布について(ベイズ塾例会資料)2015.07.26″, slideshare
[6] MAS3301 Bayesian Statistics
