モーメントについて - 猫も杓子も構造化

モーメントについての学習メモ。

モーメント（積率）という概念がある。これは、確率分布の性質のうちのいくつかを数値で表したものである。平均値や分散というのもモーメントの一種である。

離散値をとる確率変数 $x$ について、その確率分布を $P(x)$ としたときに、 $x^n$ の期待値を $x$ の確率分布の $n$ 次のモーメントという。

　　　 $\acute{m}_n = E(x^n) = \sum_x x^n P(x)$

これは、原点まわりのモーメントと呼ばれたりする。 $n=1$ である1次のモーメントはそのまま定義通りに平均値である。

一般にモーメントが用いられるのは平均値のまわりらしく、確率変数 $x$ と $\mu$ の差のべき指数で求められるモーメントである。

　　　 $m_n = E \big( (x - \mu)^n \big) = \sum_x (x - \mu)^n P (x)$

こういったものを平均値のまわりの $n$ 次のモーメントと呼ぶ。原点まわりと平均値まわりをここでは $\prime$ の有無で区別する。平均値まわりの1次のモーメントを求めると以下のようになる。（ここで、 $\sum_x P(x)$ は確率の定義から1である。※サイコロのすべての目の確率は足すと1。）

　　　 $m_1 = \sum_x (x -\mu)P(x) = \sum_x xP(x) -\mu \sum_x P(x) = \mu - \mu = 0$

平均値まわりの２次のモーメント（つまりは分散）を計算するには、定義式のものより原点まわりのモーメントを用いて次のように計算すると簡単らしい。

　　　 $m_2 = \acute{m}_2 - \mu^2 = E(x^2) - \mu^2$

これは何かというと、分散の簡便な計算式とされる「2乗の平均 - 平均の2乗」にほかならない。

さて、モーメントを求める際には、モーメントを生み出すモーメント母関数というものを用いると便利であるらしい。モーメント母関数とは $\xi$ (グザイとかクシーと読む)についての次のような関数である。

　　　 $f(\xi) = E (e^{\xi x})$

指数関数の級数展開の公式というものがあり、

　　　 $\displaystyle e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots$

これを用いると、モーメント母関数の式は、

　　　 $\displaystyle f(\xi) = E \big( 1 + \xi x + \frac{\xi^2 x^2}{2!} + \frac{\xi^3 x^3}{3!} + \dots \big)$

このようになる。さらに式を変形すると、

　　　 $\displaystyle f(\xi) = 1 + \xi E(x) + \frac{\xi^2}{2!} E(x^2)+ \frac{\xi^3}{3!} E(x^3) + \dots$

このようになり、これを最初に紹介した原点まわりのモーメントで置き換えると、

　　　 $\displaystyle f(\xi) = 1 + \xi \acute{m}_1 + \frac{\xi^2}{2!} \acute{m}_2+ \frac{\xi^3}{3!} \acute{m}_3 + \dots$

が得られる。展開式の係数に次々と高次のモーメントが現れてくる。この母関数を用いると、面倒な計算を避けてお目当てのモーメントを計算することができるというのだ。

$n$ 次の原点まわりのモーメント $\acute{m}_n$ を求めたいのであれば、 $f(\xi)$ を $\xi$ について $n$ 回微分をし、 $\xi = 0$ とすれば求められる。先に求めた展開式を見れば分かるように、 $\xi = 0$ とすることで、 $n$ よりも右の項はすべて0になるので目当てとするモーメントだけが取り出せるわけである。

二項分布を例にして考えてみよう。二項分布の確率関数は次の式で表される。

　　　 $P(x) = {}_n C _x p^x q^{n-x}$

まずは、これをモーメント母関数に埋め込み、多少の変形を行う。

　　　 $\begin{equation*} \begin{split} f(\xi) &= \sum_{x=0} ^n e^{\xi x} P(x) \\ &= \sum_{x=0} ^n e^{\xi x} {}_n C _x p^x q^{n-x}\\ &= \sum_{x=0} ^n {}_n C _x (pe^\xi)^x q^{n-x} \end{split} \end{equation*}$

最右辺の式は、二項定理を用いると次のように書くことができる。

　　　 $f(\xi) = (q + pe^\xi)^n$

この式を用いて、 $\acute{m}_1$ を求める。1次のモーメントなので、1回微分を行い、 $\xi = 0$ とおく。（ $(p+q)$ は1、および、eの0乗は1なことから、下から２番目の式の（）内は1である）

　　 $\begin{equation*} \begin{split} \acute{m}_1 &= \frac{df(\xi)}{d\xi}\\ &= npe^\xi(q + pe^\xi)^{n-1} \\ f^{\prime}(0) &= np \end{split} \end{equation*}$

二項分布の平均値である、 $np$ が無事に算出された。続いて、 $\acute{m}_2$ を求めてみよう。まず、2階微分を行う。

$\begin{equation*} \begin{split} \acute{m}_2 &= \frac{d^2f(\xi)}{d\xi^2}\\ &= npe^\xi \big((n-1)(q + pe^\xi)^{n-2} pe^\xi\big) + npe^\xi (q + pe^\xi)^{n-1}\\ &= npe^\xi \big( (n-1)(q + pe^\xi)^{n-2} pe^\xi + (q + pe^\xi)^{n-1} \big)\\ \end{split} \end{equation*}$

そして、 $\xi = 0$ とすると、

$\begin{equation*} \begin{split} f^{\prime\prime}(0) &= np \big( (n-1) p + 1 \big)\\ &= np (np + 1 - p ) \\ &= np (np + q ) \\ &= n^2p^2 + npq\\ \end{split} \end{equation*}$