外に出かける用事があったのだけど、急遽予定が変わったのでブログの更新でもする。
数理統計学で良く用いられる Martingale Central Limit Theorem について最近少し勉強したのでメモ。
統計学や確率論を知っている人なら中心極限定理(CentralLimitTheorem)を知っているだろう。
古典的なCLTは次の様な、$i.i.d$のケースであろう
Let $\{\ X_n\ \}_{i=1}^{\infty}$ be $i.i.d$, square integrable r.v's.
Suppose that $\ \mathbb{E}[X] \ = \ 0 \ $ and $\ \mathbb{E}[X^2] \ = \ 1 \ $. Then
\begin{align}
\frac{1}{\sqrt{n}}\sum_{i=1}^n X_i \xrightarrow{d} \mathcal{N}(0,\ 1) \quad \text{as} \quad n \to \infty
\end{align}
holds
Lindebergは、ここからさらに$\ i.i.d\ $という仮定を取り去って次の古典的Lindeberg条件を考えた。
Tailの振る舞いに条件をつける。
\[
\text{(LC)} \quad \sum_{k=1}^{k_n}\mathbb{E}\large[(\xi_k^n)^2\large1_{\{|\xi_k^n|>\epsilon\}} \large] \ \xrightarrow[n \to \infty] \ 0 \quad \text{for every} \quad \epsilon > 0
\]
これに、エネルギーの条件を加える。
\[
\text{(E)} \quad \sum_k^{k_n}\mathbb{E}\large[ (\xi_k^n)^2 \large] = 1 \quad \text{for all} \quad n \ge 1
\]
Let $\{\ \xi_k^{n}\ \}_{k=1}^{k_n}, \ n\ge1 $ be independent, square integrable r.v's.
If Triangular Array $\{\ \xi_k^{n}\ \}_{k=1}^{k_n}, \ n\ge1 $ satisfies the condition (E) and (LC), then
\begin{align}
\sum_{k=1}^{k_n} \xi_k^n \xrightarrow{d} \mathcal{N}(0, \ 1)
\end{align}
証明に関しては例によって、特性関数の一意性を用いる。つまり、
\[
\mathbb{E}\large[ \exp(iu\sum_{k=1}^{k_n}\xi_k^n) \large] \xrightarrow[n \to \infty] \ \exp(\frac{1}{2}u^2) \quad \text{for every} \quad u \in \mathbb{R}
\]
講座 数学の考え方〈21〉数理統計学：吉田 に多次元の場合の簡潔な証明が載っている。
最初の定理の仮定は、(E)と(LC)を満たすとすぐにわかるであろう。
しかし、この場合もまだ独立性という非常に強い仮定の下にしか収束が言えていない。
そこで、Martingale CLT が出てくる。
上の、条件(E), (LC)を Conditional Expectation で弱めたとしても、成り立つという定理である。
\[
\text{(CLC)} \quad \sum_{k=1}^{k_n}\mathbb{E}\large[(x_k^n)^2\large1_{\{|x_k^n|>\epsilon\} } |\mathscr{F}_{k-1}^n \large] \ \xrightarrow[n \to \infty]{p} \ 0 \quad \text{for every} \quad \epsilon > 0
\]
\[
\text{(CE)} \quad \sum_{k=1}^{k_n}\mathbb{E}\large[ (x_k^n)^2 |\mathscr{F}_{k-1}^n\large] \xrightarrow[n \to \infty]{p} 1 \quad
\]
定理のステートメントはなるべく正確に書く。
$(\Omega, \mathscr{F}, P)$ が$n$毎に変化してもよいが、簡単化の為に全て共通とする。
Let $(\Omega, \mathscr{F}, P)$ be probability space and $\ \mathbb{F}^n := \{\mathscr{F}_k^n \}_{1\ \le k \le \ k_n }$ be filtration of $\mathscr{F}$ for each $n \ge 1$ and
$\ \{\ \xi_k^{n}\ \}_{k=1}^{k_n}, \ n\ge1 $ be Martingale Triangular Array(MTA) i.e.
$\xi_k^n \ $ is $\ \mathscr{F}_k^n $ m'ble and $\ \mathbb{E}[\ x_k^n \ | \ \mathscr{F}_{k-1}^n ] = 0$.
If MTA $\{\ \xi_k^{n}\ \}_{k=1}^{k_n}, \ n\ge1 $ satisfies conditions (CE) and (CLC), then
\begin{align}
\sum_{k=1}^{k_n} \xi_k^n \xrightarrow[n \to \infty]{d} \mathcal{N}(0, \ 1)
\end{align}
証明の方針としては、エネルギーの条件を弱めた場合にまず証明をする
\[
\text{(CE)'} \quad \sum_{k=1}^{k_n}\mathbb{E}\large[ (\zeta_k^n)^2 \xrightarrow[n \to \infty] \ 1 \quad
\]
このとき、(CE)'と、(CLC)を満たす場合に、まず特性関数を評価してやって収束を示す。
原論文の証明はかなりテクニカルなので詳細は省く。本質的には古典的なCLTの証明と変わらないと思う。
一方でそんな都合のよい$ \{\ \zeta_k^n \ \} $ がみつかるのかと言うと、もとの奴らを適当にカットオフしてやると上手くいく。
それがこの証明の面白い所だ。
\[
V^n_k := \sum_{i=1}^k \mathbb{E}\large[ (\xi_i^n)^2 |\mathscr{F}_{k-1}^n \large],\quad 1 \le k \le k_n \quad
\]
$c > 1 \ $を任意にとり、$\ \zeta_k^n := x^n_k1_{\{ V_k^n \le c \}} \ $とおく。
そうすると、これが求めるMTAになっている。つまり、
- $\{\zeta_k^n\}_{1\le k \le k_n}, n\ge 1$ はMTAである
- 条件(CE)'を満たす
- 同様に、条件(LCL)も満たす。
(1), (3)はかなり明らかである。
(2)も、直感的に明らかであるが、次のようにして示される。
\[
W^n := \sum_{k=1}^{k_n} \mathbb{E}\large[ (z_k^n)^2 | \mathscr{F}_{k-1}^n\large]
\]
に対して、
\[
P\{W^n \le c \} = 1 \quad \forall n\ge1, \\
W^n \xrightarrow[n \to \infty]{p} 1
\]を示せば、二つ合わせて$W^n$の$L^1$収束が言える。それはすなわち、(CE)'の成立である。
参考文献として以下を挙げておく。
ちなみに筆者は統計を専攻しているわけでもなんでもない素人なので注意。
B.M.Brownによる原論文は短く簡潔なので、すぐに読める。
Margingale CLTに関するSurveyもあるが、有料。Springerと契約していれば無料。
色々調べている中で読んだ
これは間違いだらけなきがします。違いましたらコメントで教えてください。
MathJaxを使って数学の記事を公開するのは初めてだったので、かなり時間がかかってしまった。
自分の効率の悪さで死にたくなってしまった。もっと素早く書く方法はないだろうか…。
