自動故障補償能力を持つ並列ハードウェアニューラルネットワークに関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 11780206
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: 山森 一人 北陸先端科学技術大学院大学, 情報科学研究科, 助手 (50293395)
• Keywords: ニューラルネットワーク / 故障補償 / 部分再学習 / ハードウェア / ウェーハスケールインテグレーション

Research Abstract

本研究では,ハ-ドウェア実装された階層型ニューラルネットワーク上の故障を高速に補償する部分再学習法を提案し,評価を行っている。本年度では,シミュレーションにより故障補償能力,および汎化能力について議論を行った。
部分再学習法は故障リンク,あるいは故障ユニットから入力を受ける上位層のニューロン1つを単位に2層で誤差逆伝播学習を行う手法である。入力ユニットの故障については,入力層・隠れ層間,隠れ層・出力層間と2回の部分再学習を行うことで故障を補償する。各ニューロンは閾値処理を行うユニット,教師信号や重みを蓄える重みを持ち,下位層からの入力が揃えば同一層内ニューロンはそれぞれ並列に動作可能とした。
入力層ニューロン64個,隠れ層ニューロン15個,出力層ニューロン32個を用いて32人分の顔画像認識を行うニューラルネットワークを作成し,これにユニット,または重みのスタック故障が発生したと仮定して再学習実験を行った。シミュレーションの結果,入力ユニットや出力ユニットのスタック故障について,3層の誤差逆伝播学習による故障補償よりも再学習時間,故障補償率の双方で部分再学習法が優れていることが明らかとなった。また,学習パターンにノイズを加えたテストパターンに対する認識率においても,学習パターン平均値の±5%程度のノイズでは部分再学習法による方が高い認識率を示し,故障ユニット数の増加に対しても高い耐性を示した。学習パターン平均値の±10%のノイズを加えた場合では,3層誤差逆伝播学習法とほぼ同等の認識率となった。
以上より,階層型ニューラルネットワークの故障は部分再学習により高速・高確率に補償可能であり,汎化能力も3層全体で再学習を行った場合と同等以上であることを明らかにした。今後はFPGA等によるハードウェアシミュレーションを行う予定である。

Research Products

• [Publications] 山森 一人: "部分再学習による故障補償を行ったニューラルネットワークの汎化能力"電子情報通信学会技術研究報告. FIIS00・71. 1-8 (2000)
• [Publications] 山森 一人: "部分再学習による階層型ニューラルネットワークのスタック故障補償"電子情報通信学会技術研究報告. FIIS99-50. 1-8 (1999)
• [Publications] Kunihito Yamamori: "Two-Stage Parallel Partial Refraining Scheme for Defective Multi-Layer Neural Networks"Proceedings on High-Performance Computing in Asia-Pacific Region. (2000)