1994 Fiscal Year Annual Research Report

最適汎化ニューラルネットワークの構成法に関する研究

Research Project

Project/Area Number	06452399
Research Institution	Tokyo Institute of Technology
Principal Investigator	小川英光東京工業大学, 大学院情報理工学研究科, 教授 (50016630)
Co-Investigator(Kenkyū-buntansha)	山下幸彦東京工業大学, 大学院情報理工学研究科, 助手 (90220350)
Keywords	学習 / 汎化 / 最適汎化 / ニューラルネットワーク / 単一断線故障 / 比例性雑音 / 関数解析 / ヒルベルト空間
Research Abstract	学習と汎化は、現在の情報工学、情報科学を進歩させていく上で欠くことのできない研究課題である。本研究の目的は、汎化能力が保証され、同時に工学的に優れた特性を持つニューラルネットワークの構成方法を与えることである。このような研究に関し、本年度は次のような成果を得た。学習を逆問題として定式化することにより、層状神経回路網の学習特性を解析し、層状神経回路網による写像を要素として持つ関数空間の構造を解明した。一般標本化定理の考え方を適用することにより、学習を訓練データに対する応答から未知データに対する応答を求める補間操作として定式化できることを示した。最適汎化能力を実現する上でニューラルネットワークが満たさなければいけない条件を、ニューラルネットワークが含まれるべき関数空間の形態と関連づけて明らかにした。さらに、ニューラルネットワークの信号に重畳される雑音の影響の最小化,ニューラルネットワークの結線の一つが断線した場合の影響の最小化,ニューロン間の結合係数の分散の最小化など,最適汎化能力を持ったニューラルネットワークを実現する際に生じる工学的要請に対応した設計理論を構築した。こうして、最適汎化能力を持ったニューラルネットワークの理論とそれを構成するための設計理論の両方を構成することができた。さらに、計算機実験によって、工学的要請に対応した最適汎化能力を持つニューラルネットワークを実際に構成し、本研究で提案した設計理論の有効性を確認した。

Research Products

(10 results)

All Other

All Publications (10 results)

[Publications] Hidemitsu Ogawa: "Neural network learning with optimal generalization ability" Proc. SPRANN'94, IMACS Int. Symp.on Signal Processing, Robotics and Neural Networks. 31-34 (1994)
[Publications] 小川英光: "パターン認識・理解の諸問題" 電子情報通信学会誌. 76. 615-631 (1994)
[Publications] Kazutaka Yamasaki: "A choosing method of training set which prevent over-learning" Proc. IEEE Int. Conf. on Neural Networks. 551-554 (1994)
[Publications] 小出裕司: "信号・画像推定のための射影フィルタ族の統一理論" 電子情報通信学会論文誌(D-II). J75-D-II. 1293-1301 (1994)
[Publications] Hidemitsu Ogawa: "Construction of optimally generalizing neural networks" Proc. UUO, Int. Symp. on Ultrafast and Ultra-Parallel Optoelectronics. 3. 187-190 (1994)
[Publications] Nasr-Eddine Berrached: "Frame and special types of extended pseudo-biorthogonal bases" SPIE Proc.2303. 140 (1994)
[Publications] Yukihiko Yamashita: "Relative Karuhunen-Loeve operator" Proc. 12th ICPR, Int. Conf. on Pattern Recognition. 3. 168-170 (1994)
[Publications] Tohru Kiryu: "ECG data compression by biorthogonal basis" Proc. IEEE Engineering in Medicine and Biology Society 16th Annual Int. Conf.1266-1267 (1994)
[Publications] Madani Ouldmammar: "Fast implementation of the parametric projection filter for image restoration" Proc. EUSIPCO-94, Seventh European Signal Processing Conference. 311-314 (1994)
[Publications] 小川英光(編著): "パターン認識・理解の新たな展開-挑戦すべき課題-" 電子情報通信学会, 185 (1994)

1994 Fiscal Year Annual Research Report

最適汎化ニューラルネットワークの構成法に関する研究

Principal Investigator

小川 英光 東京工業大学, 大学院情報理工学研究科, 教授 (50016630)

Research Products

[Publications] Hidemitsu Ogawa: "Neural network learning with optimal generalization ability" Proc. SPRANN'94, IMACS Int. Symp.on Signal Processing, Robotics and Neural Networks. 31-34 (1994)

[Publications] 小川英光: "パターン認識・理解の諸問題" 電子情報通信学会誌. 76. 615-631 (1994)

[Publications] Kazutaka Yamasaki: "A choosing method of training set which prevent over-learning" Proc. IEEE Int. Conf. on Neural Networks. 551-554 (1994)

[Publications] 小出裕司: "信号・画像推定のための射影フィルタ族の統一理論" 電子情報通信学会論文誌(D-II). J75-D-II. 1293-1301 (1994)

[Publications] Hidemitsu Ogawa: "Construction of optimally generalizing neural networks" Proc. UUO, Int. Symp. on Ultrafast and Ultra-Parallel Optoelectronics. 3. 187-190 (1994)

[Publications] Nasr-Eddine Berrached: "Frame and special types of extended pseudo-biorthogonal bases" SPIE Proc.2303. 140 (1994)

[Publications] Yukihiko Yamashita: "Relative Karuhunen-Loeve operator" Proc. 12th ICPR, Int. Conf. on Pattern Recognition. 3. 168-170 (1994)

[Publications] Tohru Kiryu: "ECG data compression by biorthogonal basis" Proc. IEEE Engineering in Medicine and Biology Society 16th Annual Int. Conf.1266-1267 (1994)

[Publications] Madani Ouldmammar: "Fast implementation of the parametric projection filter for image restoration" Proc. EUSIPCO-94, Seventh European Signal Processing Conference. 311-314 (1994)

[Publications] 小川英光(編著): "パターン認識・理解の新たな展開-挑戦すべき課題-" 電子情報通信学会, 185 (1994)

小川英光東京工業大学, 大学院情報理工学研究科, 教授 (50016630)