1999 Fiscal Year Annual Research Report
階層型ニューラルネットワークの内部表現と汎化能力の関係解明に関する研究
| Project/Area Number |
10780247
|
|---|
| Research Institution | Fukuyama University |
|---|
Principal Investigator |
渡邊 栄治 福山大学, 工学部, 講師 (20220866)
|
|---|
| Keywords | 階層型ニューラルネットワーク / 内部表現 / 汎化能力 / 関数近似 / 偏差 / 分散 / モジュール構造 / 画像圧縮 |
|---|
| Research Abstract |
本年度は,関数近似問題を対象として,階層型ニューラルネットワーク(階層型NN)の内部表現と汎化能力の関係について検討した.
まず,関数近似問題を対象とする場合,(i)補間性能および(ii)外延的類推(予測)性能が汎化能力として定義した.つぎに,観測雑音が付加された学習データに対して誤差逆伝搬法を適用した場合,過学習と呼ばれる現象が生じ,上述の汎化能力が劣化することを具体的に示した.さらに,以下に示す内部表現を表すための指標を基にして,過学習による汎化能力の劣化原因を定量的に説明した.
・過剰自由度:荷重係数に関するエントロピーに着目した情報量規範を導入することにより,階層型NNの実質的な自由度を算出した.
・中間層と出力層間における線形性の評価:主成分分析法に基づいた中間層および出力層間の線形化精度評価手法を導入することにより,関数近似能力に対する各中間層ユニットの適切さを評価することが可能となった.
また,この検討結果を踏まえ,汎化能力を改善するための学習法を提案し,以下のような具体的な実問題に適用し,良好なモデリング精度(汎化能力)を獲得することができた.
・画像の領域分割:画像の領域分割における誤差に関する偏差と分散のバランスを保つように,各領域の特徴に対応して複数の階層型NNを適応的に割り当てることが可能な手法を提案し,実画像に対する有効性を定量的および定性的な両面から評価した。
・非定常信号処理:時変係数を伴って変動する音響信号を対象とし,内部表現(荷重係数)の変動に着目した信号の分割処理と信号予測手法を提案し,実データに対する評価を行なった.
|
-
[Publications] 森克己、渡邊栄治、池上淳一: "回転軸対称物体のだ円輪郭線の検出"電子情報通信学会論文誌. J82-D-II,5. 891-899 (1999)
-
[Publications] E.Watanabe,M.Byodo and Y.Mitani: "A modular structured neural network and its application to sound signal processing"Proc.of Sixth International Congress On Sound and Vibration. 2813-2820 (1999)
-
[Publications] 渡邊栄治: "階層型ニューラルネットワークを用いた段階的な画像圧縮手法の提案"第14回ディジタル信号処理シンポジウム. 73-78 (1999)
-
[Publications] 渡邊栄治: "階層型ニューラルネットワークによるカラー画像の圧縮"電子情報通信学会技術研究報告. NC99-61. 53-60 (1999)
-
[Publications] 渡邊栄治、森克己: "階層型ニューラルネットワークを用いた室内情景の色補正"電子情報通信学会技術研究報告. NC99-91. 29-34 (2000)
