コヒーレント型ニューラルネットワークの試作研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 08555098
• Section: 試験
• Research Institution: The University of Tokyo
• Principal Investigator: 廣瀬 明 東京大学, 先端科学技術研究センター, 助教授 (70199115)
• Co-Investigator(Kenkyū-buntansha): 柴田 克成 東京大学, 先端科学技術研究センター, 助手 (10260522)
• Keywords: コヒーレント型ニューラルネットワーク / 複素ニューラルネットワーク / 汎化特性 / バックプロパゲーション学習 / 周波数領域並列化 / リカレントネットワーク / リアプノフ指数 / カオス

Research Abstract

本年度は、コヒーレント型ニューラルネットワークの各パラメータと情報処理動作との関係に関して、主として理論的な研究を進め、以下に示すような成果を得た。
1.周波数領域における汎化特性とニューロ結合の遅延時間との関係を理論およびシミュレーションによって明かにし、有益な汎化特性を得るための条件を見い出した。理論解析によると、種々の搬送波周波数に対して、最急降下法およびバックプロパゲーションによってニューロ結合の遅延時間と透過率を調整して学習を行っていく際、遅延時間領域および搬送波周波数領域の両方の領域に周期的に誤差極小の点が存在することが確認された。誤差極小の領域は、遅延時間搬送波周波数の平面上では、ちょうど双曲線を描く谷となる。この谷を越えての学習は、多くの場合不可能である。有意味な汎化特性を得るためには、不適当な谷に落ちることのない初期条件が必要である。すなわち、初期遅延時間の最大値は、周波数領域での教師信号の最大干渉縞周波数によって決まる時間を越えない必要がある。コヒーレント型ニューラルネットワークを実現するにあたり、この条件は、実際上は充分に緩やかであることが確認された。
2.リカレントなニューラルネットワークにおける、ニューロン利得に対する時系列動作安定性について実験的な解析を行った。その結果、比較的穏やかなゲインの場合には、リカレント複素ニューラルネットワークは準周期的なアトラクタを安定に(リアプノフ指数=0)持つことができることが確認された。この特徴は、0のリアプノフ指数と動的アトラクタを同時に実現することが難しい従来型(実数型)ニューラルネットワークと対照的である。また、ニューロン利得が大きくなるにつれてリアプノフ指数が正になる傾向があり、不安定になる場合があることが認められた。この点については、今後の一層の検討が必要である。

Research Products

• [Publications] A.Hirose R.Eckmiller: "Proposal of frequency-domain multiplexing in optical neural networks" Neurocomputing. 10. 197-204 (1996)
• [Publications] A.Hirose R.Eckmiller: "Coherent optical neural networks that have optical-frequency-contrlled behavior and・・・" Applied Optics. 35. 836-843 (1996)
• [Publications] A.Hirose H.Onishi: "Obervation of positive Lyapunov exponent induced by gain increase of neuron nonlinearity in・・・" Electron.Lett.32. 745-746 (1996)
• [Publications] A.Hirose R.Eckmiller: "Behavior control of coherent-type neural networks by carrier-frequency modulation" IEEE Trans.Neural Networks. 7. 1032-1034 (1996)
• [Publications] A.Hirose R.Eckmiller: "Coherent optical neural networks and the generalization characteristics" Optical Review. 3. 418-422 (1996)
• [Publications] A.Hirose R.Eckmiller: "Coherent optical neural networks" Int′l Conf.on Optical Computing ′96. 2. 6-7 (1996)
• [Publications] A.Hirose H.Onishi: "Behavior stability and time-dequential signal variation of recurrent complex-valued neural・・・" Int′l Cont.on Comput.Intelligence and Neuroscience ′97. (in press).
• [Publications] A.Hirose: "Two-dimensional Hodgkin-Huxley equations for mesoscopic analysis and synthesis of neural・・・" Int′l Cont.on Comput.Intelligence and Neuroscience ′97. (in press).
• [Publications] A.Hirose H.Onishi: "Experimental analysis of behavior stability in neuron gain domain in recurrent complex-valued・・・" IEEE Int′l Conf.on Neural Networks ′97. (in press).
• [Publications] 柴田克成・岡部洋一: "相関情報抽出ネットと空間認識能力の教師なし学習" 日本神経回路学会論文誌. 3. 11-16 (1996)
• [Publications] 柴田克成・岡部洋一: "時間軸スムージング学習による局所センサ信号の統合と空間情報の抽出学習" 日本神経回路学会論文誌. 3. 98-105 (1996)
• [Publications] 柴田克成・岡部洋一: "強化学習による能動認識能力の学習(印刷中)" 日本神経回路学会論文誌. 3. (1997)
• [Publications] A.Hirose: "Coherent neural netorks and their applications to control and signal processing" World Scientific Publishing Company(in press),