1997 Fiscal Year Annual Research Report

階層形ニューラルネットワークの最小構成のための最適設計法の研究

Research Project

Project/Area Number	07650422
Research Institution	Kanazawa University
Principal Investigator	中山謙二金沢大学, 自然科学研究科, 教授 (00207945)
Co-Investigator(Kenkyū-buntansha)	王幼華金沢大学, 工学部, 講師 (10283095) 池田和司金沢大学, 工学部, 講師 (10262552)
Keywords	ニューラルネットワーク / 階層形ニューラルネットワーク / パターン分類 / 活性化関数 / 学習 / 隠れ層
Research Abstract	平成7年度と8年度は、階層形ニューラルネットワーク(NN)を最小構成する最適設計論についての基礎検討と計算機によるシミュレーション実験を行った。平成9年度は、これらを踏まえて最適設計のためのパラメータの最適化、及び多くの例題によるシミュレーションを継続し、提案した方法の有効性を検証した。 1.階層形NNにおけるニューロンの活性化関数の最適化最適な活性化関数はNNを適用する問題によって様々である。また、活性化関数を最適化することにより、回路規模を大幅に低減できる。本研究では、結合荷重の学習と同時に活性化関数自身を学習する方法を提案した。8ビットパリティ問題等、難しい問題が最小の回路規模で実現できることを確認した。 2.オンライン学習における最少学習データの選択方法未学習パターンに対しても高い分類(汎化)能力を保証する最少データ選択法について、更に、オンライン学習における方法を提案した。種々のパターン分類問題に適用し、有効性を確認した。 3.学習における初期値決定法階層形NNの結合荷重の初期値は一般に小さな乱数で与えられる。しかし、複雑なパターン分類問題等においては、収束性が悪い。本研究では、収束性を高める初期値決定法を提案した。異なるクラスの接近したデータ間に超平面を初期設定する方法である。隠れ層出力では、クラスのデータ分布が十分に離れた状態に変換できる。 4.総合的な最適設計システムとしての評価 3年間を通して、確立した要素技術をシステム化し、最適設計システムを構築した。プログラム化は進行中であるが、これまでの個々の検証から、実用性が高いことが期待できる。

Research Products
(4 results)

All Other

All Publications (4 results)

[Publications] 富川義弘: "不等号条件を考慮した相互結合形NNによる対応付け形状認識" 電子情報通信学会論文誌 D-II. J81-D-II,1. 72-83 (1998)
[Publications] 原一え: "Training Data Selection Method for Generalization by Multilayer Neural Networks" 電子情報通信学会英文論文誌. (掲載予定). (1998)
[Publications] 中山謙二: "A Simultaneous Learning Method for Both Activation Functions and Connection Weights of Multilayer Neural Networks" IEEE & INNS.Proc.of IJCNN'98. (発表予定). (1998)
[Publications] Ashraf A.M.Khalaf: "A Cascade Form Predictor of Neural and FIR Filters and Its Minimum Size Estimation Based on Nonlinearity Analysis of Time Series" 電子情報通信学会英文論文誌. (掲載予定). (1998)

1997 Fiscal Year Annual Research Report

階層形ニューラルネットワークの最小構成のための最適設計法の研究

Principal Investigator

中山 謙二 金沢大学, 自然科学研究科, 教授 (00207945)

Research Products

[Publications] 富川 義弘: "不等号条件を考慮した相互結合形NNによる対応付け形状認識" 電子情報通信学会 論文誌 D-II. J81-D-II,1. 72-83 (1998)

[Publications] 原 一え: "Training Data Selection Method for Generalization by Multilayer Neural Networks" 電子情報通信学会 英文論文誌. (掲載予定). (1998)

[Publications] 中山 謙二: "A Simultaneous Learning Method for Both Activation Functions and Connection Weights of Multilayer Neural Networks" IEEE & INNS.Proc.of IJCNN'98. (発表予定). (1998)

[Publications] Ashraf A.M.Khalaf: "A Cascade Form Predictor of Neural and FIR Filters and Its Minimum Size Estimation Based on Nonlinearity Analysis of Time Series" 電子情報通信学会 英文論文誌. (掲載予定). (1998)

中山謙二金沢大学, 自然科学研究科, 教授 (00207945)

[Publications] 富川義弘: "不等号条件を考慮した相互結合形NNによる対応付け形状認識" 電子情報通信学会論文誌 D-II. J81-D-II,1. 72-83 (1998)

[Publications] 原一え: "Training Data Selection Method for Generalization by Multilayer Neural Networks" 電子情報通信学会英文論文誌. (掲載予定). (1998)

[Publications] 中山謙二: "A Simultaneous Learning Method for Both Activation Functions and Connection Weights of Multilayer Neural Networks" IEEE & INNS.Proc.of IJCNN'98. (発表予定). (1998)

[Publications] Ashraf A.M.Khalaf: "A Cascade Form Predictor of Neural and FIR Filters and Its Minimum Size Estimation Based on Nonlinearity Analysis of Time Series" 電子情報通信学会英文論文誌. (掲載予定). (1998)