自律故障補償能力を持つ並列ハードウェアニューラルネットワークに関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11780206
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: 山森 一人 北陸先端科学技術大学院大学, 情報科学研究科, 助手 (50293395)
• Keywords: ニューラルネットワーク / 故障補償 / 部分再学習 / ハードウェア / ウェーハスケールインテグレーション

Research Abstract

ニューラルネットワークによる情報処理は、適切な学習パターンさえ用意できれば詳細な問題解決のためのアルゴリズムを必要としないため、複雑な応用問題への適用が盛んに行われている。しかし、問題が複雑になるにつれ学習に要する時間が膨大となり実用的ではない。そこで、ウェーハスケールインテグレーション(Wafer Scale Integration : WSI)等のハードウェア実装による高速化が期待されている。WSIでは一部の故障がシステム全体に影響を及ぼすため、故障を補償する仕組みを組み込む必要がある。本研究では、WSI実装された階層型ニューラルネットワークにおいて、故障の影響を受けるネットワークの一部分のみで再学習を行うことで故障補償を行う部分再学習法の提案と性能評価を行った。はじめに、ニューラルネットワークで発生しうる故障について考察し、故障がニューラルネットワークに与える影響から故障の種類をニューロンの{0,1}-スタック故障、重みの0-スタック故障、リンクの単純またはFlipping故障に分類した。この分類に従い、シミュレーションにより同一モードの故障を持つニューラルネットワーク、同一種パーツにおいて複数の故障モードを持つニューラルネットワーク、任意のパーツが任意の故障モードを含むニューラルネットワークのそれぞれにおいて、故障補償時間、故障補償後のニューラルネットワークの歩留りと汎化能力について詳細な議論を行った。その結果、部分再学習法は同一故障モードにおいて歩留り、故障補償時間ともに3層すべてを使って再学習を行う手法より優れていることを明らかにした。一方、故障個所数が増えるにつれて汎化能力については若干の低下が見られた。また、複数モードの故障が混在するニューラルネットワークにおいては、部分再学習法が示した汎化能力については従来法とほぼ同等であるが、歩留りの点で低下することが明らかになった。現在の集積回路上でオープンラインからの入力については無信号状態と仮定することは適当でないため、入力信号が常に変動するライン断線故障モードをもつニューラルネットワークについてもシミュレーションを行った。また、回路規模を削減したニューロンの回路構成についても検討を行った。

Research Products

• [Publications] 山森一人: "複合故障を持つ階層型ニューラルネットワークにおける部分再学習法の性能評価"電子情報通信学会技術報告(FIIS-00-80). FIIS00・80. (2001)
• [Publications] kunihito Yamamori: "Performance Evaluation of a Partial Retraining Scheme for Defective Multi-Layer Neural Networks"Proceedings of the 6^<th> Australasian Computer Systems Architecture Conference ACSAC2001. 23・4. 138-145 (2001)
• [Publications] Kunihito Yamamori: "Two-Stage Parallel Partial Retraining Scheme for Defective Multi-Layer Neural Networks"The Fourth International Conference/Exhibition on High Performance Computing in Asia-Pacific Region. 2. 642-647 (2000)
• [Publications] Kunihito Yamamori: "Theoretical Learning-Speed Evaluation of Parallel Back-Propagation Algorithms"Proceeding of the First Workshop of International Joint Research : "Parallel Computing, Data Mining and Optical Networks". (2001)