最適汎化ニューラルネットワークの構成法に関する研究

1995 年度 実績報告書

• 研究課題/領域番号: 06452399
• 研究機関: 東京工業大学
• 研究代表者: 小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
• 研究分担者: 山下 幸彦 東京工業大学, 工学部, 助教授 (90220350)
• キーワード: 学習 / 汎化 / 最適汎化ニューラルネットワーク / 断線故障 / 最適結合荷重 / 最適中間素子関数 / 追加学習 / 能動学習

研究概要

本研究の最終年度にあたる平成7年度は,次の二つの大きな成果を得ることができた.まず,最適汎化ニューラルネットワークを構成する際に,ニューラルネットワークの結合加重に現れる比例性誤差および単一断線故障の汎化能力に及ぼす影響が最小になるような結合加重の決定法を前年度に求めていたが,これを次の三つの方向に拡張した.この理論を単一断線故障から複数断線故障に拡張し,単一断線故障で得られていた最適結合加重がそのまま複数断線故障に対しても最適であることを明らかにした.新しくγ-縮退故障に対しても同様の最適結合加重の設計法を与え,比例性誤差,複数断線故障,γ-縮退故障の全てに対して同時に最適になる条件も求めた.上記3種類の問題に対して,最適な結合加重だけでなく,中間素子の最適な入出力関数も求めた.従来,この入出力関数として経験的にシグモイド関数等が使われていたが,本成果により,最適な関数形を決定できるようになったのである.
第二の大きな成果は,追加学習(incremental learning)の理論を構築したことである.これは,ある訓練データに対して最適汎化ニューラルネットワークが既に得られているとき,新しく追加された訓練データを併せた全訓練データに対して最適なニューラルネットワークを,これまでの結果と新しい訓練データだけから構成する理論であり,従来,訓練データを能動的に選んでいく能動学習(active learning)の研究へとつながるものである.

研究成果

• [文献書誌] Dawei Liu: "Pattern recognition in the presence of noise" Pattern Recogniton. 28. 989-995 (1995)
• [文献書誌] Yukihiko Yamashita: "Relative Karhunen-Loeve transform" IEEE Trans. Signal Processing. (採録決定).
• [文献書誌] 田中賢: "再帰型高次結合ニューラルネットワークによる正規言語の学習" 電子情報通信学会論文誌(D-). (採録決定).
• [文献書誌] Sethu Vijayakumar: "A functional analytic approach to incremental learning in optimally generalizing neural networks" Proc. for ICNN'95, 1995 IEEE Int. Conf. on Neural Networks, Perth, Australia. 777-782 (1995)
• [文献書誌] Mang Li: "Wavelet frame based on generalized multiresolution analysis" Proc. for ICNNSP'95, The 2nd Int. Conf. on Neural Networks and Signal Processing, Nanjing, China. 2. 1035-1038 (1995)
• [文献書誌] Akira Hirabayashi: "Admissibility of memorization learning with respect to projection learning in the presence of noise" Proc. for ICNN'96, 1996 IEEE Int. Conf. on Neural Networks, Washington D. C.(1996)
• [文献書誌] 小川英光: "ニューラルネットワークと汎化能力" 電子情報通信学会ニューロコンピューティング研究会. NC95-8. 57-64 (1995)
• [文献書誌] Sethu Vijayakumar: "Incremental learning with optimal generalizing ability" 電子情報通信学会ニューロコンピューティング研究会. NC95-9. 65-72 (1995)
• [文献書誌] 平林晃: "射影学習の記憶学習に対する許容性" 電子情報通信学会ニューロコンピューティング研究会. NC95-22. 25-32 (1995)
• [文献書誌] ヒックス・クレイグ: "多項式ボルツマン機械" 1995年電子情報通信学会総合大会. D-36. 39-40 (1995)
• [文献書誌] 馬場秋継: "最大差型部分空間法によるパターン認識" 1996年電子情報通信学会総合大会. D-486. (1996)
• [文献書誌] 池野靖之: "相対KL変換法によるパターン認識" 1996年電子情報通信学会総合大会. D-487. (1996)
• [文献書誌] 平林晃: "雑音が存在する場合の射影学習の記憶学習に対する許容性" 1996年電子情報通信学会総合大会. D-17. (1996)
• [文献書誌] 平林晃: "誤り修正型記憶学習" 1996年電子情報通信学会総合大会. D-18. (1996)
• [文献書誌] 平林晃: "教材の追加による過学習の抑制" 1996年電子情報通信学会総合大会. D-19. (1996)
• [文献書誌] 中沢真介: "最適汎化ニューラルネットワークの最適構成法" 1996年電子情報通信学会総合大会. D-26. (1996)
• [文献書誌] Sethu Vijayakumar: "Incremental learning in optimally generalizing neural network" 1996年電子情報通信学会総合大会. D-27. (1996)
• [文献書誌] Mang Li: "Shanon wavelet frame via band-limited function space multiresolution analysis" 1996年電子情報通信学会総合大会. SA-4-3. (1996)
• [文献書誌] J. H. Oh: "Neural Networks: The Statistical Mechanics Perspective" World Scientific, 330 (1995)
• [文献書誌] M. E. H. Ismail: "Mathematical Analysis Wavelets, and Signal Processing" Contemporary Mathematics, 354 (1995)
• [文献書誌] 大矢雅則: "数理情報科学事典" 朝倉書店, 1200 (1995)
• [文献書誌] T. Sueta: "Ultrafast and Ultra-Parallel Optoelectronics" Ohmsha and John Wiley & Sons, 606 (1995)