情報空間における位相解析を用いた学習理論に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780261
• Research Institution: Muroran Institute of Technology
• Principal Investigator: 塩谷 浩之 室蘭工業大学, 工学部, 助教授 (90271642)
• Keywords: 擬情報量 / 位相解析 / ロバスト推定 / ノイズ除去 / 確率システム / ニューラルネットワーク / 最小自乗法 / α-ダイバージェンス

Research Abstract

情報理論や統計的推定において用いられる情報計量とは,2つ確率分布間の差異を表す.本研究においては,ある限定されて分布族において情報計量の役割を持つ,特殊な形式を持つ擬情報量という概念を導入した.数学的には,その擬情報量は,分布全体集合のある特定の部分集合に対しては,近傍系の計量として表現され,位相生成において,部分集合という適用範囲が限定されることで,情報計量の広い定式化につながるものである.このような定式化は数学的な要請からではなく,ニューラルネットワークのような非線形システムのパラメータ学習に用いられる最小自乗法を,情報量最小化学習の視点から陽に拡張し,自在な擬情報量を学習問題に適用するという情報論的学習の応用分野からの発展に基づくものである.本年度の研究では,以下の成果が得られている.
(1)α-ダイバージェンス最小化と同じ効果を持ち,一般の入出力システムの確率モデルであるガウス密度モデル上で情報計量となる擬α-情報量を定式化し,その基盤を整備した.
(2)擬α-情報量を,極端なノイズを含むデータからの学習問題に適用した.そしてノイズに対し頑健な学習が容易に行われることを,ロバスト推定の理論モデルを用い証明を行った.また,多層パーセプトロン学習問題に適用し,数値実験で有効性を確認した.
(3)汎化性能が高い学習手法として知られるアンサンブル学習に対しても,擬α-情報量を基準とした学習アルゴリズムが容易に定式化されることを確認した.
(4)ノイズに対する頑健性を,確率モデルを用いる情報システムに適用し,擬情報量の補助的利用における有効性について考察した.対象としては,環境的知識ネットワークを備える強化学習システム等を用い,ノイズ除去などの擬α-情報量の利用に関する検証を行い,今後の発展的応用への準備的研究を行った.

Research Products

• [Publications] H.Shioya, T.Date: "Pseudo Information Divergence Defined on the Family of Specific Probability Distributions"International Journal of Computing Anticipatory Systems. Vol.11. 375-386 (2002)
• [Publications] D.Kitakoshi, H.Shioya, T.Da-te: "A Reinforcement Learning Method Supported by a Bayesian Network"International Journal of Computing Anticipatory Systems. Vol.12. 62-72 (2002)
• [Publications] 内田真人, 塩谷浩之: "アンサンブル学習モデルにおける重み付けに関する考察"電子情報通信学会論文誌 D-II. (H15年1月採録). 5