研究課題
近年、情報科学や計算機科学において、高度な情報システムを構築する際に、情報システムを平衡状態にある多体系であると考えてその設計論を考察する方法の有用性が知られるようになっている。情報システムを理論物理学的な観点から考察する方法は情報物理学と呼ばれているが、情報物理学においては、従来の物理学と異なって非常に特異性の高い確率分布を扱う必要が生じる場合が多い。特に、階層的な構造や隠れた変数を含む情報システムの学習においては、基底状態が特異点を含む解析的集合となるような場合の絶対零度極限の扱いが必要になるが、そのような場合に確率分布を扱う数学的な手段は従来は知られていなかった。本研究においては、代数幾何や代数解析、またゼータ関数の理論などの現代数学によって作られた数学的な手段によって特異性の高い確率分布の挙動を理論的に解明し、その情報科学的な設計論の基礎を作ることを目的としている。平成18年度の研究においては、以下の研究成果を得た。(1)特異性の高い情報システムの確率分布を近似実現する手段として平均場近似による方法が知られている。この方法は情報科学においては変分ベイズ法と呼ばれているが、変分ベイズ法がどのような近似精度を持つかという問題についてはこれまでは知られていなかった。正しいベイズ法の事後分布と変分ベイズ法の事後分布との相違を相対エントロピーによって計測する場合に、その値は自由エネルギーと変分自由エネルギーの差に等しいことは容易に導出できるが、本研究においては、以下のいくつかの情報システムにおいて、その値を具体的に導出した。混合正規分布、隠れマルコフモデル、ベイズネットワーク、確率文脈自由文法、縮小ランク回帰。これらの情報システムにおいては、平均場近似は事後分布の近似という意味では比較的良好に働くことが明らかになった。しかしながら、平均場近似よって予測分布を構築すると、正しいベイズ法とは非常に異なる挙動を持つことも明らかになり、情報システムの構築において、事後分布と予測分布の近似は、同じ問題として捉えることはできないことが明らかになった。(2)事後分布を近似ではなく数値的に作り出す方法にマルコフ連鎖モンテカルロ法があるが、特異的な情報システムにおいては、マルコフ連鎖モンテカルロ法は収束に非常に多くの計算量が必要となることが知られていた。本研究においては、交換モンテカルロ法(レプリカモンテカルロ法)を、特異モデルの事後分布の実現に応用することを提案し、その有用性を実験的に明らかにした。現在、代数幾何学的な方法によって交換モンテカルロ法の精度を解明する研究を開始しており、その挙動を明らかにし、設計論を構築することは次年度以降の目標である。以上の二つの点が平成18年度の成果であるが、特異的な情報システムを扱うことができるのは世界の中で本研究室だけであり、来年度以降も、この目標の実現のため努力していきたいと考えている。
すべて 2006
すべて 雑誌論文 (6件) 図書 (1件)
Journal of Machine Learning Research Vol. 7
ページ: 625-644
IEICE Transactions Vol. E89-D, no. 3
ページ: 1128-1138
電子情報通信学会論文誌 Vol. J89-A, no. 8
ページ: 671-678
電子情報通信学会論文誌 vol. J89-D-II, no. 10
ページ: 2260-2268
電子情報通信学会論文誌 Vol. J89-D-II, No. 6
ページ: 1279-1287
Proc. of Advances in Neural Information Processing Systems Vol. 18
ページ: 1465-1472
