オンラインアルゴリズムにおける次元圧縮に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15500001
• Research Institution: Tohoku University
• Principal Investigator: 瀧本 英二 東北大学, 大学院・情報科学研究科, 助教授 (50236395)
• Keywords: オンライン予測 / 重み更新アルゴリズム / カーネル / 情報圧縮 / 次元圧縮 / 確率モデル / ブースティング

Research Abstract

複数の予測戦略を統合するオンライン予測の問題に対し,ほぼ最適な予測値系列を出力するさまざまな手法が開発されている.これらのアルゴリズムは,予測戦略の信頼度を表す重みベクトルを保持し,予測戦略が与える予測ベクトルとの内積演算に基づいて自らの予測値を求め,それによる何らかの損失/利得が明らかになった後,重みを更新するという共通の性質を持つ.しかし,多くの自然な問題では,統合すべき予測戦略の数が指数的あるいは無限であるため,この手法を直接適用することはできない.本研究では,低次元空間におけるパラメータベクトルを用いて重みベクトルを間接的に表し,予測の統合や重みの更新を効率よく模倣する手法を提案し,その可能性について以下の成果を得た.
グラフの道に基づいて定まる予測戦略のクラスに対し,辺空間(低次元空間)におけるベクトルを用いて統合アルゴリズムを効率よく模倣する手法を与えた.また,この手法が,形式文法が生成する言語を予測戦略のクラスとする問題に対しても適用できることを示した、
確率モデルのオンライン予測問題に対して,無限に存在するモデルパラメータからなる予測戦略のクラスに対し,重みを一切保持せずに予測を行う一般的な手法を提案し,この手法が指数分布のクラスに対してほぼ最適な予測を行う手法を提案した.また,この手法が,オンライン線形回帰問題にも適用できることを示した.
予測性能があまり良くない複数の仮説を統合して予測性能の良い仮説を構築するブースティングの問題に対し,従来知られているAdaBoostやInfoBoostを一般化した新しいアルゴリズムのスキーマを提案した、これは,与えられたサンプルの分割と併合を繰り返すことによって決定ダイアグラムを構成する手法であり,適切な併合条件の下では'従来手法よりも予測性能の良い仮説をより効率よく求めることができることを示唆する実験結果を得た.

Research Products

• [Publications] Eiji Takimoto: "Top-down decision tree learning as information based boosting"Theoretical Computer Science. 292・2. 447-464 (2003)
• [Publications] Eiji Takimoto: "Path Kernels and Multiplicative Updates"Journal of Machine Learning Research. 4. 773-818 (2003)
• [Publications] Kenshi Matsuo: "Relationships between Horn formulas and XOR-MDNF formulas"IEICE Transactions on Information and Systems. E87-D(2). 343-351 (2003)
• [Publications] 竹内 寛明: "分割と併合に基づくブースティング"情報科学技術フォーラム情報技術レターズ. 2. 19-20 (2003)
• [Publications] 瀧本 英二: "ガウス分布推定問題に対するミニマックス戦略"信学技報・コンピュテーション. 2003-41. 29-36 (2003)
• [Publications] 瀧本 英二: "最終段ミニマックスアルゴリズム"信学技報・コンピュテーション. 2003-59. 39-44 (2003)