神経回路網の自己組機化学習における汎化能力向上のための局所的相互作用の探索

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12750362
• Research Institution: University of Tsukuba
• Principal Investigator: 亀山 啓輔 筑波大学, 電子・情報工学系, 講師 (40242309)
• Keywords: 学習 / 汎化能力 / 神経回路網 / モデル / パターン認識

Research Abstract

本研究では,例からの学習により関数を近似したり,パターンを認識したりする際の汎化能力を向上させる方法の一つとして,問題に応じて系のモデルを適切に選択し,解候補となる関数集合を限定する手法について明らかにすることを目的とし,研究を行ってきた.これまで逐次学習法に見られる極小値問題等の非効率を回避しつつ,問題に適したモデル選択を学習中に動的に行う方法(モデルスイッチング)を神経回路網の学習に対して提案し,学習の高速化と汎化能力の向上,そして工学的要請である簡単なモデルによる系の実現が可能であることを示してきた.本年度は,この手法を拡張し,モデルを構成する素子やパラメータを自律的な「実体」として定義し,それら実体間の局所的な相互作用の結果として,実体の新設や削除に相当するモデル変更が行われる,分散的な方法(自己組織化学習)によってモデル決定を含む学習を行い,高い汎化能力を実現していく手法について考察を行った.
まず,層状神経回路網の中間層における局所的な実体の相互作用の一例として,訓練集合に対する実体の応答の絶対相関を相互に局所的に評価し,その値の高さによって2つの実体を1つで置換する作用(融合)により,(工学的要請である)小さなモデルによる実現と,汎化能力の向上が見られることを実験的に示してきている.
また,両眼視差の解決,テンプレートを用いた文字認識,医用画像の対応部位検出などで必要とされるパターンマッチングに用いられる弛緩整合法に対して,マッチングを行うべき未知入力に対してはモデルを仮定せず,画像のエッジピクセルを上記の「実体」として取り扱い,相互作用によりモデル化をすすめながらテンプレートとのマッチングを図ることにより,マッチングの汎化能力を向上させる生成的弛緩整合法を提案し,国際学会へ投稿した.
来年度は,既に提案されている汎化を考慮に入れた学習法である「射影汎化学習」(Ogawa1984)や,「構造的リスク最小化学習」(Vapnik ＆; Chervonenkis1974)を分散的に実現し,それらに共通した汎化能力向上に貢献する局所的相互作用を明らかにしていくことを目標としている.