情報空間における位相解析を用いた学習理論に関する研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13780261
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Research Institution: Muroran Institute of Technology
• Principal Investigator: 塩谷 浩之 室蘭工業大学, 工学部, 助教授 (90271642)
• Keywords: 情報計量 / 分布空間の位相 / 最小2乗法 / 階層型ニューラルネット / ノイズデータ / ロバスト推定 / αダイバージェンス / KL情報量

Research Abstract

平成13年度においては,αダイバージェンスと呼ばれる2つの確率分布の差異を測る情報計量の形式を利用することで,データ解析などでよく用いられる最小2乗法の拡張とその理論的解析を行った.最小2乗法は,ガウスモデルのおけるKL情報計量最小化であるが,用いる情報計量を単純に拡張しても,通常の期待値形式による経験損失を直接計算をする学習アルゴリズムを得ることはできない.そこで,推定や学習で対象としている統計モデル,とりわけガウスモデルが限定的によく用いられていることから,その限定された分布族上で,αダイバージェンスと同等の位相を生成する変形αダイバージェンスを新たに定義した.この新たな情報計量から,学習アルゴリズムを導出し,通常,よく最小2乗法が用いられるデータ解析における計算過程と同様に利用できることを示した.例えば,階層型ニューラルネットワークでよく用いられるバックプロパゲーション法(BP法)も,この新たな情報計量の最小化学習法を用いて拡張可能となる.
データにノイズが混入し,そのノイズレベルが大きすぎて,通常の最小2乗法では対応できない場合がある.このような問題の解決にロバスト推定法が用いられる.これは,真の分布とノイズ分布の混合分布を情報源としたときの推定問題と想定される.得られた新たな学習方式を,この問題に適用した.対象となる入出力システムは,階層型ニューラルネットワークを用い,通常のBP法では強い影響を受けるノイズ混合データを用意し学習させ,本提案手法の有効性を確認した.ロバスト推定を用いた理論的解析も行った.本手法は,ノイズ分布と真の分布との情報計量が,非常に大きい状況ではノイズを完全に無視し,真の分布に対する学習あるいは推定することを数学的に証明した.

Research Products

• [Publications] 内田真人, 塩谷浩之, 伊達惇: "アンサンブル学習の解析と拡張"電子情報通信学会論文誌. VolJ84-D2 No.7. 1537-1542 (2001)
• [Publications] 塩谷浩之, 伊達惇: "αダイバージェンスを利用した一般化された2乗誤差最小学習"電子情報通信学会論文誌. VolJ84-D2 No.12. 2690-2695 (2001)