|
本研究では、階層形ニューラルネットワーク学習の収束性の改善とサーチエンジンへの応用に関する研究を行った。その結果の概要は以下の通りである。
1.カテゴリー間で例題数に偏りのある問題の学習
バッチ学習において、全例題に対する2乗誤差の分布に比例した確率で学習を行う方法を開発した。結合荷重の更新に寄与する例題数のバランスを取ることにより、例題の少ないカテゴリーの例題も学習が可能となった。
2.結合荷重の対称性の破壊を想起に起こさせる方法についての研究
結合荷重をランダムに1個選択し、更新する、という学習法を開発し、学習の停留が発生しないことを計算機シミュレーションにより確認した。
3.マージンを用いたパーセプトロン学習に関する研究
単純パーセプトロンをパーセプトロン学習によって学習する場合、学習則にマージンを導入することにより、学習の初期においてヘブ学習則より汎化誤差が小さくなる現象を発見した。
4.アンサンブル学習の汎化誤差の解析に関する研究
性能の劣るニューラルネットワーク(ウィークラーナー)を多数用いることにより、単一のニューラルネットワークより優れた性能を得る学習法であるアンサンブル学習の汎化誤差をニューラルネットワークが線形のパーセプロトンである場合について解析した。その結果、ウィークラーナーの数が無限大の極限では単一の場合の汎化誤差の1/2に収束する事がわかった。
|
