階層形ニューラルネットワーク学習の収束性の改善とサーチエンジンへの応用

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13680472
• Research Institution: TOKYO METROPOLITAN COLLEGE OF TECHNOLOGY
• Principal Investigator: 原 一之 東京都立工業高等専門学校, 電子情報工学科, 助教授 (30311004)
• Co-Investigator(Kenkyū-buntansha): 中山 謙二 金沢大学, 大学院・自然科学研究科, 教授 (00207945)
• Keywords: 単純パーセプトロン / マージン / オンライン学習 / アンサンブル学習

Research Abstract

サーチエンジンに学習機能、柔軟な検索機能を付与するために用いる階層形ニューラルネットワークの収束性の改善と汎化能力の改善のための研究を行った。具体的には次の項目について研究を行った。
1.単純パーセプトロンをオンラインで学習する場合に用いられる学習則としては、ベブ学習則、パーセプトロン学習則などが用いられる。ヘブ学習則は汎化誤差の収束性が早いことが知られている。一方、ヘブ学習則は正解を出力した例題も学習するため,効率が悪い。そこで我々は、パーセプトロン学習則にマージンを導入し,正解を出力しても,出力が小さいときはさらに学習をするように学習法を変更したところ,学習の初期においてヘブ学習則より収束が早くなるという現象を発見した。また,マージンを結合荷重の長さに応じて変更することにより、常にヘブ学習則より汎化能力の収束が早くなることを発見した。この内容は電子情報通信学会論文誌D-II vol.J85-D-II No.10pp.1563-1570 2002年10月に掲載された.
2.単純パーセプトロンを複数用いるアンサンブル学習法について検討した。複数の単純パーセプトロンを有効に用いるため、各単純パーセプトロンの初期の結合荷重は独立であり、その長さは1に規格化されている、との条件のもとでは用いる単純パーセプトロンの数Kに対して、Kを無限大とした場合の汎化誤差は1個の場合に対して半分になること、その値に対して1/Kで収束することを示した。この内容は情報論的学習理論ワークショップ(富士吉田2002年)で発表した。

Research Products

• [Publications] 原 一之, 岡田 真人: "マージンを用い単純パーセプトロン学習法のオンラインラーニングの理論"電子情報通信学会論文誌. J85-D-II-No.10. 1563-1570 (2002)
• [Publications] Kazuyuki Hara, Masato Okada: "On-Line learning through simple perceptron learning with a margin"Proceeding of International Conference on Neural Information Processing 2002. 1. 158-164 (2002)
• [Publications] 原 一之, 岡田 真人: "線形ウィークラーナーによるアンサンブル学習の汎化誤差の解析"情報論的学習理論ワークショップ予稿集. 113-118 (2002)
• [Publications] 原 一之, 岡田真人: "線形ウイークラーナーによるアンサンブル学習の汎化誤差の解析"日本物理学会秋季大会概要集. 2. 221 (2002)
• [Publications] 原 一之, 岡田 真人: "パラレルブースティングのオンラインラーニングの理論"日本物理学会第58回年次大会概要集. 2. 258 (2003)