階層形ニューラルネットワーク学習の収束性の改善とサーチエンジンへの応用

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13680472
• Research Institution: Tokyo Metropolitan College of Technology
• Principal Investigator: 原 一之 東京都立工業高等専門学校, 電子情報工学科, 助教授 (30311004)
• Co-Investigator(Kenkyū-buntansha): 中山 謙二 金沢大学, 大学院・自然化学研究科, 教授 (00207945)
• Keywords: 階層形ニューラルネットワーク / 収束性の改善 / 例題数の偏り / 対称性の破壊

Research Abstract

本年度は,サーチエンジンの学習機能、柔軟な検索機能を付与するために用いる階層形ニューラルネットワークの収束性の改善に関する研究を行なった。具体的には次の項目について、研究を行なった。
1.カテゴリー間で例題数に偏りのある場合でも学習が可能なアルゴリズムの開発
カテゴリー間で例題数に偏りがある場合、カテゴリーの境界が偏って形成される可能性が高い.そこで,この現象を回避するため,我々は,学習が進み,全例題に対する2乗平均誤差が小さなると,誤差の小さな例題の数が支配的となるため,学習は小さな誤差を発生する例題に対してのみ行なわれる,と言う現象を発見し,注目した.開発した学習法では,誤差分布に比例した確率で学習を行なう.したがって,誤差の小さな例題と大きな例題に対する例題数のバランスを取ることができ,誤差の大いな例題の学習が可能となる.この方法は,カテゴリー間で偏りがある場合においても,誤差の大きな例題の数はほぼ同等であると仮定できる場合,有効である.この内容は,IEEE/INNS International Joint Conference on Neural Networks 2001において発表した.
2.結合係数の対称性の破壊を早期に起こさせる方法についての検討
階層形ニューラルネットワークにおいて,隠れユニットが複数存在する場合,結合係数の入れ換えに対する対称性が発生することが,学習の停留現象の原因の一つである.そこで,我々は勾配法のように,全結合係数を同時に更新するのではなく,ランダムに選択した1個の結合係数のみ更新する方法を開発した.閉発した学習法では,結合係数が常に一方向にのみ修正されるため,対称性が形成されにくい.数値シミュレーション実験では,勾配法でプラトーの現われる問題に対し,開発した方法ではプラトーが発生しないことを確認した.この内容は,IEEE/INNS International Joint Conference on Neural Networks 2001において発表した.

Research Products

• [Publications] Aazuyuki Hara, Yoshihisa Amakata, Ryohei Nukaga, Kenji Nakavama: "A learning method by stochastic connection weight update"Proceedings of International joint conference on neural network. 2036-2041 (2001)
• [Publications] Kazuyuki Hara, Hiroyuki Nose, Megumi Ohwada: "A Novel Line Search Type Algorithm Avoidable of Small Local Minima"Proceedings of International joint conference on neural network. 2048-2053 (2001)
• [Publications] 原一之, 岡田真人: "マージンを用いた学習法アルゴリズム"日本神経回路学会全国大会. (予稿). 44-45 (2001)