階層形ニューラルネットワークの最小構成のための最適設計法の研究

1995 年度 実績報告書

• 研究課題/領域番号: 07650422
• 研究種目: 一般研究(C)
• 研究機関: 金沢大学
• 研究代表者: 中山 謙二 金沢大学, 工学部・電気・情報工学科, 教授 (00207945)
• 研究分担者: 馬 志強 金沢大学, 工学部・電気・情報工学科, 講師 (10251935)
• キーワード: ニューラルネットワーク / 学習則 / 隠れユニット / 活性化関数 / パターン分類 / 雑音 / 連想記憶

研究概要

平成7年度は、階層形ニューラルネットワーク(NN)を最小構成する最適設計論について基礎検討を行い、以下の研究成果を得た。
1.パターン分類能力の評価:観測するサンプル数が制限されている場合、線形処理によるスペクトル分析では十分な特性が得られない。階層形NNは、信号空間で各信号クラスに対する領域形成の自由度が高いため、少ないサンプルによる信号分類、及び雑音混入信号に対する分類能力が高いことを確認した。
2.学習データの選択方法:パターン分類を対象として、全データ(パターン)を正確に分類する(汎化能力)階層形NNを実現するために必要な部分データの選択方法を提案した。ユークリッド距離に基づいて分類境界面に対峙する各クラスのデータを抽出するものである。学習時間との関係についても検討した。
3.追加学習:既に学習したデータを用いないという条件で、追加されたデータについて学習を行うと同時に、既に学習したデータに対する特性を保持することを目的としている。既学習データに対するNNの特性を解析し、追加学習において保持するためにランダムな疑似データを用いている。今後は、更にネットワークから学習に用いたデータを推定する方法についても検討する。
4.結合荷重の感度解析:デイジタル回路のビット数を制限した場合に生じる出力誤差の一般的な推定法を提案した。これにより、必要なビット数の見積もり、及び低感度の回路構造について検討することができる。
5.耐故障特性、雑音特性を考慮した学習法:ニューロンの故障、結合荷重の変動、信号に対する雑音混入等の影響を受けにくい階層形NNの学習方法を検討し、見通しを得た。更に、学習時間の軽減等について検討する。

研究成果

• [文献書誌] 原一之: "階層形ニューラルネットワークにおける学習データ選択法" 情報処理学会全国大会講演論文集(2). 2-41-2-42 (1995)
• [文献書誌] Kazuyuki HARA: "Signal Classification Based on Frequency Analysis Using Multilayer Neural Network with Limited Data and Computation" Proc. IEEE International Conference on Neural Networks. 1. 600-605 (1995)
• [文献書誌] Kazuhiro MINAMIMOTO: "Topology Analysis of Data Space Using Self-Organizing Feature Map" Proc. IEEE International Conference on Neural Networks. 2. 789-794 (1995)
• [文献書誌] Seiji MIYOSHI: "A Recurrent Neural Network with Serial Delay Elements for Memorizing Limit Cycles" Proc. IEEE International Conference on Neural Networks. 4. 1955-1960 (1995)
• [文献書誌] Yoshihiro TOMIKAWA: "Convergence Analysis of Recurrent Neural Network with Self-loops Based on Eigenvalues of A Connection Matrix" Proc. IEEE International Conference on Neural Networks. 5. 2642-2647 (1995)
• [文献書誌] Katsuyoshi OHNISHI: "A Neural Demodulator for Quadrature Amplitude Modulation Signals" Proc. IEEE International Conference on Neural Networks. (発表予定). (1996)