| 研究概要 |
サーチエンジンに学習機能、柔軟な検索機能を付与するために用いる階層形ニューラルネットワークの収束性の改善と汎化能力の改善のための研究を行った。具体的には次の項目について研究を行った。
1.単純パーセプトロンをオンラインで学習する場合に用いられる学習則としては、ベブ学習則、パーセプトロン学習則などが用いられる。ヘブ学習則は汎化誤差の収束性が早いことが知られている。一方、ヘブ学習則は正解を出力した例題も学習するため,効率が悪い。そこで我々は、パーセプトロン学習則にマージンを導入し,正解を出力しても,出力が小さいときはさらに学習をするように学習法を変更したところ,学習の初期においてヘブ学習則より収束が早くなるという現象を発見した。また,マージンを結合荷重の長さに応じて変更することにより、常にヘブ学習則より汎化能力の収束が早くなることを発見した。この内容は電子情報通信学会論文誌D-II vol.J85-D-II No.10pp.1563-1570 2002年10月に掲載された.
2.単純パーセプトロンを複数用いるアンサンブル学習法について検討した。複数の単純パーセプトロンを有効に用いるため、各単純パーセプトロンの初期の結合荷重は独立であり、その長さは1に規格化されている、との条件のもとでは用いる単純パーセプトロンの数Kに対して、Kを無限大とした場合の汎化誤差は1個の場合に対して半分になること、その値に対して1/Kで収束することを示した。この内容は情報論的学習理論ワークショップ(富士吉田2002年)で発表した。
|
