オンチップ学習回路装備・完全電圧モード動作ニューラルネットワークLSIの試作研究

1994 Fiscal Year Annual Research Report

• Project/Area Number: 05505003
• Research Institution: TOHOKU UNIVERSITY
• Principal Investigator: 柴田 直 東北大学, 工学部, 助教授 (00187402)
• Co-Investigator(Kenkyū-buntansha): 森田 瑞穂 東北大学大学院, 情報科学研究科, 助教授 (50157905) ; 大見 忠弘 東北大学, 工学部, 教授 (20016463)
• Keywords: ニューラルネットワーク / ニューロンMOSトランジスタ / シナプス / バックプロパゲーション / 学習アルゴリズム / ヘブルール / 自己学習 / アナログニューラルネットワーク

Research Abstract

ニューラルネットワークは、新しいコンピューティングパラダイムの旗手として、そのLSIチップへのハードウェア化が盛んに研究されている。本研究は、単体でニューロンの機能をもつ新しい高機能トランジスタ・ニューロンMOSFETを用いて、独自のアーキテクチャーのアナログニューラルネットワークLSIを開発するものである。特に一切のス-パバイザー・コンピュータ無しに、すべてオンチップで自己学習できるチップの実現を狙うものである。本年度は、昨年度開発した定常消費電力ゼロで優れた重み更新の線形性をもつ、シナプスとしては理想的な特性を持つセルを用いて、自己学習機能内蔵のニューラルネットワークLSIを設計・試作し、その基本動作を確認した。
上記シナプス回路をマトリクス状に配置し、その直交する2辺の上に、ニューロセルを置いた。各ニューロンセルの出力には、教師信号とニューロンの出力を比較し、学習規則に応じて高電圧パルスを発生する学習制御回路を設置。パルスの加えられた信号線の直交する位置にあるシナプスに於いてのみ、加重値の更新が行われ、Hebb則の学習が実行される。特に工夫をこらしたのは、誤差の逆伝播である。隠れ層ニューロンの応答誤差を3値の変数でデジタル化し、ニューロンMOSのフローティングゲート技術を用いて誤差逆伝播学習則のオンチップ化に成功した。ニューロン出力の2値化、微分関数の窓関数近似等、ハードウェア化のために学習アルゴリズムの思い切った簡略化を行い「ハードウェアバックプロパゲーション」と呼ぶ新しい学習アルゴリズムを開発した。簡略化にもかかわらず、オリジナルバックプロパゲーションと同等の学習性能をもつことを実証した。また、ある種の問題に対しては、オリジナル学習則よりも凡化能力において優れていることを見い出した。これらの研究により、ニューロンMOSを用いた自己学習機能搭載のニューラルネットワークチップの基礎技術を確立することができた。

Research Products

• [Publications] H.Ishii: "Hardware-learning neural netwark LSI using a highly functional transistor simulating neuron actions" Proc.International Joint Conference on Neural Networks'93,Nagoya. 907-910 (1993)
• [Publications] H.Kosaka: "An excellent weight-updating-linearity synapse memory eell for self-learning neuron MOS neural networks" International Electron Devices meeting(IEDM)Technical Digest. 623-626 (1993)
• [Publications] T.Shibata: "Implementing Intelligence on Silicon using Neuron-like functional MOS transistors" Proc.7th Conference on Neural Information Processing Systemo:Natural and Synthetic,(NIPS'93). 919-926 (1994)
• [Publications] H.Ishii: "An experimontal neuron MOS neural network chip featuring onchip self-learning circuitry and low-power synapse cells" Proc.International conference on Advanced Microelectronic Deviees and Processing. 641-646 (1994)
• [Publications] T.Shibata: "Hardware Implementation of Intelligence on silicon using four-terminal devices" Proc.International conference on Advanced Microelectronic Deviees and Processing. 743-750 (1994)
• [Publications] T.Ohmi: "The concept of four-terminal-device and its significance in the implementation of intelligent electronic circuits" IEICE Transactions in Electronics. 1032-1041 (1994)
• [Publications] T.Shibata: "A Neuron MOS Neural Network Using Low-Power Self-Learning Compatible Synapse Cells" Ext.Abstracts,1994 Int.Conf.Solid State Devices and materials Yokohama. 346-348 (1994)
• [Publications] H.Ishii: "Hardware-Oriented Learning Algorithm Implemonted on Silicon Using Neuron MOS Technology" Ext.Abstracts,1994 Int.Conf.Solid State Devices and materials Yokohama. 382-384 (1994)
• [Publications] S.Kondo: "Superior Generalization Characteristics of Neuron-Mos Neural Networks in Mirror-Symmetry Problem Learning" Ext.Abstraets,1994 Int.Conf.Solid State Devices and materials,Yokohama. 385-387 (1994)
• [Publications] H.Kosaka: "An Excellent Weight-updating-Linearity EEPROM Synapse Memory cell for Self-Learning Neuron-MOS Neural Networks" IEEE Trans.Electron Devices. 42. 135-143 (1995)
• [Publications] T,shibata: "A Neuron-MOS Neural Network using self-learning compatible Synapse Circuits" IEEE Journal of Solid state Circuits. (印刷中).