| 研究概要 |
平成13年度においては,αダイバージェンスと呼ばれる2つの確率分布の差異を測る情報計量の形式を利用することで,データ解析などでよく用いられる最小2乗法の拡張とその理論的解析を行った.最小2乗法は,ガウスモデルのおけるKL情報計量最小化であるが,用いる情報計量を単純に拡張しても,通常の期待値形式による経験損失を直接計算をする学習アルゴリズムを得ることはできない.そこで,推定や学習で対象としている統計モデル,とりわけガウスモデルが限定的によく用いられていることから,その限定された分布族上で,αダイバージェンスと同等の位相を生成する変形αダイバージェンスを新たに定義した.この新たな情報計量から,学習アルゴリズムを導出し,通常,よく最小2乗法が用いられるデータ解析における計算過程と同様に利用できることを示した.例えば,階層型ニューラルネットワークでよく用いられるバックプロパゲーション法(BP法)も,この新たな情報計量の最小化学習法を用いて拡張可能となる.
データにノイズが混入し,そのノイズレベルが大きすぎて,通常の最小2乗法では対応できない場合がある.このような問題の解決にロバスト推定法が用いられる.これは,真の分布とノイズ分布の混合分布を情報源としたときの推定問題と想定される.得られた新たな学習方式を,この問題に適用した.対象となる入出力システムは,階層型ニューラルネットワークを用い,通常のBP法では強い影響を受けるノイズ混合データを用意し学習させ,本提案手法の有効性を確認した.ロバスト推定を用いた理論的解析も行った.本手法は,ノイズ分布と真の分布との情報計量が,非常に大きい状況ではノイズを完全に無視し,真の分布に対する学習あるいは推定することを数学的に証明した.
|
