画像フイルタ理論に基づくニュ-ラルネットワ-クの高性能学習方式に関する研究

1991 年度 実績報告書

• 研究課題/領域番号: 02452155
• 研究機関: 東京工業大学
• 研究代表者: 小川 英光 東京工業大学, 工学部, 教授 (50016630)
• 研究分担者: 山下 幸彦 東京工業大学, 工学部, 助手 (90220350) ; 熊沢 逸夫 東京工業大学, 工学部, 助教授 (70186469)
• キーワード: 画像処理 / ニュ-ラルネットワ-ク / 学習 / 汎化 / フイルタ / 非線形 / 統計 / 過学習

研究概要

本研究では、画像フイルタ理論の進展と共に明らかになったフイルタのデ-タ補間能力の本質に関する知見に基づいて、限られた数のサンプルを体験するだけで、未知の入力に対して正しい出力を与えることを保証できる新しい学習理論を構築し、それをニュ-ラルネット上に実現することを目的としている。フイルタにおけるデ-タ補間の問題と、未知の入力に対応することのできるニュ-ラルネットを構成する問題との間には密接な関係がある。前者は、関数の有限標本点上の値のサンプルのみから、まだ経験したことのない新しい点上の関数の値を推定する問題であり、これはデ-タの次元の相違こそあれ、有限個の入力サンプルに対する正しい出力が教師から示されただけで、初体験の入力に対して正しい出力を得ようとする後者の問題と本質的には同じだからである。学習理論では、この様に新しい入力に適切に対応する能力のことを汎化能力と呼んでいる。本研究では、このように、画像フィルタの理論に基づいて汎化能力を保証する新しい学習理論を構築することを目標としてきたが、当該年度において次のような成果を上げることが出来た。(1)ニュ-ラルネットの学習で特に問題となる過学習の概念を厳密に定義し、過学習が生じる条件、及び過学習を防ぐ方法を与えた。(2)過学習を防ぐための訓練デ-タの与え方を示した。(3)バックプロパゲ-ションの汎化能力を作用素論的立場から解明した。(4)作用素論的枠組から最適汎化ニュ-ラルネットワ-クの理論を構築した。

研究成果

• [文献書誌] 山下 幸彦,小川 英光: "平均射影フィルタによる画像復元" 電子情報通信学会論文誌(DーII). Vol.J73ーD. 150-157 (1991)
• [文献書誌] 山下 幸彦,小川 英光: "平均射影フイルタの諸性質" 電子情報通信学会論文誌(DーII). Vol.J73ーD. 142-149 (1991)
• [文献書誌] 山下 幸彦,小川 英光: "画像空間の位相と最適画像復元フイルタ" 電子情報通信学会論文誌(DーII). Vol.J75ーD. (1992)
• [文献書誌] 山下 幸彦,小川 英光: "最適画像復元フイルタと一般逆" 電子情報通信学会論文誌(DーII). Vol.J75ーD. (1992)
• [文献書誌] 山下 幸彦,小川 英光: "各種最適画像復元フイルタの相互関係" 電子情報通信学会論文誌(DーII). Vol.J75ーD. (1992)
• [文献書誌] Erkki Oja,Hidemitsu Ogawa and Jaroonsakdi Wangviwattana: "Principal component analysis homogeneous neural networks,Part I:The weighte subspace criterion" IEICE Trans.on Information and Systems. Vol.E75ーD. (1992)
• [文献書誌] Erkki Oja,Hidemitsu Ogawa and Jaroonsakdi Wangviwattana: "IEICE Trans.on Information and Systems" Principal component analysis by homogeneous neural networks,Part II:Analysis and extensions of the learning algorithms. Vol.E75ーD.
• [文献書誌] Erkki Oja,Hidemitsu Ogawa and Jaroonsakdi Wangviwattana: "T.Kohonen,K.Makisara,O.Simula and J.Kangased,eds.:Artificial Neural Networks,(分担)Learning in Nonlinear Constrained Hebbian Networks" Elsevier Science Pub.(NorthーHolland), 16 (1991)
• [文献書誌] Hidemitsu Ogawa and Itsuo Kumazawa: "G.T.Herman,A.K.Louis and F.Natterer,eds.:Mathematical Methods in Tomography,Lecture Notes in Mathematics,Vol.1497,(分担)Radon Transform and Analog Coding" SpringerーVerlag, 13 (1991)