階層型ニューラルネットワークの内部表現と汎化能力の関係解明に関する研究

1998 Fiscal Year Annual Research Report

• Project/Area Number: 10780247
• Research Institution: Fukuyama University
• Principal Investigator: 渡邊 栄治 福山大学, 工学部, 講師 (20220866)
• Keywords: 階層型ニューラルネットワーク / 内部表現 / 汎化能力 / 中間層ユニットのロバスト性 / 学習誤差の均等化

Research Abstract

本研究の目的は,パターン分類問題を対象として,階眉型ニューラルネットワークの内部表現と汎化能力の関係を明らかにすることである.
まず,学習パターンに雑音等の変動が加わった未学習パターンを正しく分類できる能力を汎化能力として定義し,階層型ニューラルネットワークの出力層ユニット出力値に基づいた汎化能力の評価基準を導入した.次に,階眉型ニューラルネットワークの内部表現として以下の2種類の指標を導入し,内部表現と汎化能力間の関係について検討した.
1. 第1の指標は中間層ユニットの微係数に基づいており,入力パターンの変動に対する出力層ユニット出力値のロバスト性を評価することを目的に導入した.理論的な検討結果から,中間層ユニットの微係数を抑制することは,入力層と中間層間の荷重係数を大きくし,中間層と出力層間の荷重係数を抑制することと等価であることが判明した.このことにより,荷重係数値の抑制が汎化能力の改善に有効であることへの理論的な裏付けが得られた.
2. 第2の指標は学習誤差分布に基づいており,各カテゴリーに対する判別空間形状の差異を評価することを目的に導入した.実データには,雑音や異常値が含まれているケースが多く存在する.このような場合,階層型ニューラルネットワークの学習能力が特定のカテゴリーに対して偏りが生じ,汎化能力が劣化することを確認した.そこで,この指標を用いることにより,階層型ニューラルネットワークの学習能力の偏りを定量的に表現することが可能となった.また,この指標は他の研究者によって追試され,本指標の妥当性が客観的に示された.
さらに,数値計算(符合化問題,アヤメの分類問題,LANDSAT画像の分類問題)結果から2種類の指標が汎化能力と密接な関係があることを具体的に示した.加えて,上述の結果を基にして,関連する研究者との討論により,上述の2種類の指標に対する妥当性を確認した.

Research Products

• [Publications] E.Watanabe: "A prediction method of non-stationary time series data and its applications to sound signal processing" Proc.International ICSC/IFAC Symposium on Neural Computation. 871-877 (1998)
• [Publications] 渡邊栄治: "階層型ニューラルネットワークにおける内部表現と汎化能力の関係" 平成10年度電気・情報関連学会中国支部連合大会. 100-101 (1998)
• [Publications] 森克己,渡邊栄治,池上淳一: "回転軸対称物体のだ円輪郭線の検出" 電子情報通信学会論文誌. (採録決定). (1999)
• [Publications] E.Watanabe,M.Byodo and Y.Mitani: "A modular structured neural network and its application to sound signal processing" Proc.International Congress on Sound and Vibration. (accepted). (1999)
• [Publications] N.Nakasako,T.Yamamoto,E.Watanabe and M.Ohta: "A signal detection method for non-linear acoustic systems by using Kalman filter with multi-layered neural networks" Proc.International Congress on Sound and Vibration. (accepted). (1999)