最適汎化ニューラルネットワークの構成法に関する研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 06452399
• Research Institution: TOKYO INSTITUTE OF TECHNOLOGY
• Principal Investigator: 小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
• Co-Investigator(Kenkyū-buntansha): 山下 幸彦 東京工業大学, 工学部, 助教授 (90220350)
• Keywords: 学習 / 汎化 / 最適汎化ニューラルネットワーク / 断線故障 / 最適結合荷重 / 最適中間素子関数 / 追加学習 / 能動学習

Research Abstract

本研究の最終年度にあたる平成7年度は,次の二つの大きな成果を得ることができた.まず,最適汎化ニューラルネットワークを構成する際に,ニューラルネットワークの結合加重に現れる比例性誤差および単一断線故障の汎化能力に及ぼす影響が最小になるような結合加重の決定法を前年度に求めていたが,これを次の三つの方向に拡張した.この理論を単一断線故障から複数断線故障に拡張し,単一断線故障で得られていた最適結合加重がそのまま複数断線故障に対しても最適であることを明らかにした.新しくγ-縮退故障に対しても同様の最適結合加重の設計法を与え,比例性誤差,複数断線故障,γ-縮退故障の全てに対して同時に最適になる条件も求めた.上記3種類の問題に対して,最適な結合加重だけでなく,中間素子の最適な入出力関数も求めた.従来,この入出力関数として経験的にシグモイド関数等が使われていたが,本成果により,最適な関数形を決定できるようになったのである.
第二の大きな成果は,追加学習(incremental learning)の理論を構築したことである.これは,ある訓練データに対して最適汎化ニューラルネットワークが既に得られているとき,新しく追加された訓練データを併せた全訓練データに対して最適なニューラルネットワークを,これまでの結果と新しい訓練データだけから構成する理論であり,従来,訓練データを能動的に選んでいく能動学習(active learning)の研究へとつながるものである.

Research Products

• [Publications] Dawei Liu: "Pattern recognition in the presence of noise" Pattern Recogniton. 28. 989-995 (1995)
• [Publications] Yukihiko Yamashita: "Relative Karhunen-Loeve transform" IEEE Trans. Signal Processing. (採録決定).
• [Publications] 田中賢: "再帰型高次結合ニューラルネットワークによる正規言語の学習" 電子情報通信学会論文誌(D-). (採録決定).
• [Publications] Sethu Vijayakumar: "A functional analytic approach to incremental learning in optimally generalizing neural networks" Proc. for ICNN'95, 1995 IEEE Int. Conf. on Neural Networks, Perth, Australia. 777-782 (1995)
• [Publications] Mang Li: "Wavelet frame based on generalized multiresolution analysis" Proc. for ICNNSP'95, The 2nd Int. Conf. on Neural Networks and Signal Processing, Nanjing, China. 2. 1035-1038 (1995)
• [Publications] Akira Hirabayashi: "Admissibility of memorization learning with respect to projection learning in the presence of noise" Proc. for ICNN'96, 1996 IEEE Int. Conf. on Neural Networks, Washington D. C.(1996)
• [Publications] 小川英光: "ニューラルネットワークと汎化能力" 電子情報通信学会ニューロコンピューティング研究会. NC95-8. 57-64 (1995)
• [Publications] Sethu Vijayakumar: "Incremental learning with optimal generalizing ability" 電子情報通信学会ニューロコンピューティング研究会. NC95-9. 65-72 (1995)
• [Publications] 平林晃: "射影学習の記憶学習に対する許容性" 電子情報通信学会ニューロコンピューティング研究会. NC95-22. 25-32 (1995)
• [Publications] ヒックス・クレイグ: "多項式ボルツマン機械" 1995年電子情報通信学会総合大会. D-36. 39-40 (1995)
• [Publications] 馬場秋継: "最大差型部分空間法によるパターン認識" 1996年電子情報通信学会総合大会. D-486. (1996)
• [Publications] 池野靖之: "相対KL変換法によるパターン認識" 1996年電子情報通信学会総合大会. D-487. (1996)
• [Publications] 平林晃: "雑音が存在する場合の射影学習の記憶学習に対する許容性" 1996年電子情報通信学会総合大会. D-17. (1996)
• [Publications] 平林晃: "誤り修正型記憶学習" 1996年電子情報通信学会総合大会. D-18. (1996)
• [Publications] 平林晃: "教材の追加による過学習の抑制" 1996年電子情報通信学会総合大会. D-19. (1996)
• [Publications] 中沢真介: "最適汎化ニューラルネットワークの最適構成法" 1996年電子情報通信学会総合大会. D-26. (1996)
• [Publications] Sethu Vijayakumar: "Incremental learning in optimally generalizing neural network" 1996年電子情報通信学会総合大会. D-27. (1996)
• [Publications] Mang Li: "Shanon wavelet frame via band-limited function space multiresolution analysis" 1996年電子情報通信学会総合大会. SA-4-3. (1996)
• [Publications] J. H. Oh: "Neural Networks: The Statistical Mechanics Perspective" World Scientific, 330 (1995)
• [Publications] M. E. H. Ismail: "Mathematical Analysis Wavelets, and Signal Processing" Contemporary Mathematics, 354 (1995)
• [Publications] 大矢雅則: "数理情報科学事典" 朝倉書店, 1200 (1995)
• [Publications] T. Sueta: "Ultrafast and Ultra-Parallel Optoelectronics" Ohmsha and John Wiley & Sons, 606 (1995)