ベイズ統計と集団学習の統計的解析

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14084210
• Research Institution: Waseda University
• Principal Investigator: 村田 昇 早稲田大学, 理工学部, 助教授 (60242038)
• Co-Investigator(Kenkyū-buntansha): 池田 和司 京都大学, 情報学研究科, 助教授 (10262552)
• Keywords: 統計的学習 / 集団学習 / ベイズ統計 / 学習アルゴリズム / 情報幾何学

Research Abstract

ブースティングの統計的な性質を考察するために,指数型損失に基づく幾何学的考察を拡張し,情報幾何学の枠組町においてブレグマン・ダイバージェンス(Bregman Divergence)をもとに自然に導入される,より一般的な学習モデルの空間の構造を考察した.ブレグマン・ダイバージェンスによってこの空間に入る統計的な擬距離に基づいて雑音やはずれ値に対する頑健性.学習データとモデルの大きさに依存する漸近有効性,ブレグマン・ダイバージェンスに用いる凸関数のベイズ最適性と一致性,アルゴリズムの停止条件を記述するための一般的なランダム・ゲスの幾何学的な解釈など,新たな観点からアルゴリズムの統計的な性質を議論し明らかにした.
上記の考察に基づき,より一般的なブースティングアルゴリズムのクラスであるU-Boostを提案した。このクラスは特にコンタミネーションモデルに代表される雑音が含まれたデータに対してこれまでのものより頑健な推定が行えることを特徴としている.またブレグマン・ダイバージェンスを密度推定に拡張することによって回帰問題に対する拡張を行っている.これは再生核ヒルベルト空間を利用して定義されるガウス過程を回帰曲線とするモデルに対してブレグマン・ダイバージェンスから誘導される損失関数を最小化する推定方程式を構成するものである.現在人工的なデータを用いて数値実験を行っているが,この予備的な実験においては良好な結果を得ている.

Research Products

• [Publications] Hyeyoung Park, Noboru Murata, Shun-ichi Amari: "Improving Generalization Performance of Natural Gradient Learning Using Optimized Regularization by NIC"Neural Computation. 16. 355-382 (2004)
• [Publications] 麻生英樹, 津田宏治, 村田昇: "パターン認識と学習の統計学 新しい概念と手法"岩波書店. 225 (2003)