ニュ-ラルネットワ-クの分散型学習アルゴリズムとその応用に関する研究

1990 Fiscal Year Annual Research Report

• Project/Area Number: 02650235
• Research Institution: The University of Electro-Communications
• Principal Investigator: 高橋 治久 電気通信大学, 電気通信学部, 助教授 (90135418)
• Co-Investigator(Kenkyū-buntansha): 武田 光夫 電気通信大学, 電気通信学部, 教授 (00114926) ; 富田 悦次 電気通信大学, 電気通信学部, 教授 (40016598)
• Keywords: ニュ-ラルネットワ-ク / バックプロパゲ-ション / リカレントネットワ-ク / 線型分離可能性

Research Abstract

I)本年度は、主に3層フィ-ドフォワ-ド形ニュ-ラルネットワ-クによるパタ-ン識別の機構・能力について理論的に解析を行い以下に述べる知見を得た.まず中間層における入力層パタ-ン空間の分割が、与えられたとき、分割された入力パタ-ン集合が出力層において線型分離可能となり、識別されるための必要十分条件が「周回的な分割を含まない」ことであることを分割に対するトポロジカルな条件として明かにした.更に、この条件を用いて中間表現の線型分離可能性を判定するアルゴリズムを与えた.この結果は、Neural Networks誌へ現在投稿中である.
II)同じ手法を用いて、敷居値論理関数の実現重みを求める高効率な反復アルゴリズムを提案し実験的に最も効率的なパ-セプトロンよりも更に効率的であることを示した.この結果は、本年度3月の電子通信学会ニュ-ラルコンピュ-テ-ション研究会で発表予定である.
III)以上の結果を基礎として、筆者らが以前に提案した最大誤差修正法によるバックプロパゲ-ション学習法がロ-カルミニマを持たないことを示した.
IV)リカレントネットワ-クの高速なシミュレ-ション法と学習法を開発し、シミュレ-ションによってその優位性を確認した.
V)簡単なリカレントネットワ-クによって長い時系列を記憶できるネットワ-クを開発した.
VI)出力層固定法による学習法を開発しバックプロパゲ-ションと同等の学習能力を持ち、しかも高速かつハ-ドウェアインプリメンテ-ションが簡単な事を示した。

Research Products

• [Publications] 高橋 治久: "Functing of the Hidden Layers and The Backpropagation Convergence Theorem" Neural Networks.
• [Publications] 本村 陽一: "線形分離可能性判定においてパ-セプトロンは最適かー実験的評価ー" 電子情通信学会 NC(ニュ-ラルコンピュ-テ-ション)研究会 研究技術報告. NC90. (1991)
• [Publications] 山下 泰弘: "簡単なネットワ-クによる時系列の認識と生成" 電子情通信学会NC(ニュ-ラルコンピュ-テ-ション)研究会 研究技術報告. NC90. (1991)
• [Publications] 高橋 治久: "リカレントプロパゲ-ションニュ-ラルネットワ-ク" 電子情通信学会論文誌.
• [Publications] 富田 悦次: "近似最大クリ-クを抽出する多項式時間アルゴリズムとその実験的評価" 電子情報通信学会論文誌DーI. J74ーDーI. (1991)
• [Publications] 高橋 治久: "バックプロパゲ-ションの生物学的実現可能性" 電子情報通信学会NC研究会技術研究報告. NC90. 31-38 (1990)