2011 Fiscal Year Research-status Report
| Project/Area Number |
23500172
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 総合理工学研究科, 教授 (80273118)
|
|---|
| Project Period (FY) |
2011-04-28 – 2015-03-31
|
| Keywords | 双有理幾何学 / 構造学習理論 / 実対数閾値 / 特異揺らぎ |
|---|
| Research Abstract |
混合正規分布、神経回路網、ベイズネットワーク、隠れマルコフモデルなどの構造を持つ確率システムの学習においては、確率モデルの作る集合が正定値計量を持つ多様体ではなく、特異点を含む代数的集合あるいは解析的集合となるため、その性質をフィッシャーの漸近理論で解析することはできなかった。本研究においては、構造を持つ確率モデルの学習と、確率モデルの集合から定義される双有理不変量との間の数学的関係を明らかにし、新しい統計理論と学習理論を構築することを目的とする。一般に構造を持つ確率モデルの学習においては、自由エネルギーの漸近挙動は「実対数閾値」という双有理不変量で記述され、汎化誤差と経験誤差の差は「特異揺らぎ」という双有理不変量で記述される。真の分布が確率モデルに含まれていて、かつ事後分布が正規分布で近似できる場合には、実対数閾値も特異揺らぎも、ともにパラメータの次元の半分になるが、一般にはそうではなく、これらの値を明らかにすることが統計的学習理論の大きな課題の一つである。本研究の初年度に当たる平成２３年度においては、真の分布が確率モデルで実現できず、かつ事後分布が正規分布で実現できない場合には、事後分布の対称性の破れが生じる場合があることを明らかにした。この場合には通常の統計的漸近論のオーダーは成り立たたず一般化されたオーダが現れることを明らかにした。また、実対数閾値と特異揺らぎとが一致するための条件を調べた。その結果、真の分布と確率モデルによって定義されるカルバックライブラ情報量が擬正則という条件を満たす場合には実対数閾値と特異揺らぎが一致していることを明らかにした。ここで擬正則という条件は、フィッシャー情報行列は正則ではなく、事後分布は正規分布で近似できない場合を含むため、統計学的な正則性を満たさないが、確率過程としての対数尤度比関数の漸近挙動を捉えることができるという条件である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、構造を持つ確率システムの学習と、双有理幾何学との間の数学的な関係を明らかにし、データの背後に潜む構造を抽出することができるための数学的な基礎を作ることを目標としている。本研究の初年度において、構造を持つ確率システムの対称性の破れの現象を発見し、また、実対数閾値と特異揺らぎが一致するための十分条件を明らかにした。前者は、学習システムの挙動が最も正則から遠い場合であり、後者は、学習システムの挙動は正則ではないが最も正則に近い場合に相当する。これら二つの研究成果は、本研究がおおむね順調に進展していることを示している。
|
| Strategy for Future Research Activity |
初年度の研究で得られた第一の成果である確率システムの対称性の破れについては、その漸近挙動をさらに解析し、実問題における確率システムが対称性の破れの状態にあるかどうかを調べるための方法を探索していく。また第２の成果である確率システムの擬正則性の条件については、真の分布が不明である実問題において考察しているシステムが擬正則の条件に相当しているかどうかを調べる方法を探索していく。さらに真の分布と確率システムが一般の場合に、実対数閾値と特異揺らぎの値を調べるための数学的基礎になる部分を構築していく。
|
| Expenditure Plans for the Next FY Research Funding |
平成２３年度の執行額に残額が生じたのは、課題の理論的な側面での研究が発展中であったため、理論を実証するために適するコンピュータ環境が確定せず、その整備計画を始められる段階に到達しなかったからである。次年度では、理論的な研究の進展に応じて計算機環境を確定していく。具体的にはベイズ事後分布を実現するためのハードウエアとソフトウエアを整備する。また、研究成果を国際会議・国内会議等で発表するための参加費および旅費に研究費を用いていく。
|
