部分再学習可能なウェーハ規模耐故障化神経回路網に関する研究

• Project/Area Number: 13780218
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: 計算機科学
• Research Institution: University of Miyazaki
• Principal Investigator: 山森 一人 宮崎大学, 工学部, 助教授 (50293395)
• Project Period (FY): 2001 – 2002
• Project Status: Completed (Fiscal Year 2002)
• Budget Amount: ¥2,400,000 (Direct Cost: ¥2,400,000); Fiscal Year 2002: ¥1,400,000 (Direct Cost: ¥1,400,000); Fiscal Year 2001: ¥1,000,000 (Direct Cost: ¥1,000,000)
• Keywords: ニューラルネットワーク / 故障補償 / 部分再学習法 / ハードウェア / WSI / フォールトトレランス / 部分再学習

Research Abstract

本研究では,ハードウェア実装されたニューラルネットワーク上の故障を高速に補償し,耐故障性を備えたシステムを構築する手法として部分再学習法を提案し,多様な条件下で他の手法との比較や故障補償シミュレーションを通じその性能を明らかにすることを目的としている.本年度では,(1)高精度演算型ニューロンの設計,(2)教師信号格納部分の設計,(3)シミュレーションによる動作検証,のうち,比較すべき新たな手法が提案されたことを受け,(3)について重点的に行った.
比較すべき新たな手法とは「耐最悪故障化学習法」であり,もっとも影響の大きい故障を対象として耐故障化学習を行うことで,全体としての耐故障性を得る方法である.耐最悪故障化学習法は,従来提案されていた.「耐故障化学習法」を発展させたもので,従来法では困難であった複雑な問題に対しても適用できる可能性があり,詳細な比較調査を行った.昨年度に提案したFlip断線故障,従来から用いられてきたO-スタック故障を対象に,入力のカテゴリ判定問題などを用い,さまざまな角度からシミュレーションを行い,その性能について詳細に比較を行った.その結果,「耐故障化学習法」に比べれば適用できる範囲は広いものの,耐最悪故障化学習法でも複雑な問題に対しては学習が収束しない場合が多いこと,研究代表者が提案している部分再学習法に比べれば学習時間が数倍〜十数倍となることを明らかにした.一方,耐最悪故障化学習法で学習したニューラルネットワークでは,故障がない場合に比べて汎化能力(未知入力に対しても,過去の学習履歴からもっともらしい解を導き出すこと)が大幅に向上するという現象がみられた.
これまでの研究成果により,ウェーハ規模の耐故障化ニューラルネットワークは十分実現可能であることが明らかとなった.今後は実際の回路設計を通じて詳細な実験データを収集し学術論文としてまとめる予定である.

Research Products

• [Publications] K.Yamamori, T.Abe, S.Horiguchi, I.Yoshihara: "An Efficient Defect Compensation Scheme for Multi-Layer Neural Networks on WSI Devices"Proc. International Joint Conference on Neural Networks. 1056-1061 (2002)
• [Publications] K.Yamamori, T.Abe, S.Horiguch, I.Yoshihara: "Compound Defect Compensation on Multi-Layer Neural Networks by Partial Retraining Scheme"Proc. International Conference on Parallel and Distributed Computing, Applications and Technologies. 403-408 (2002)
• [Publications] K.Takahashi, K.Yamamori, S.Horiguchi, I.Yoshihara: "Comparison with Defect Compensation Methods for Feed-forward Neural Networks"Proc. 2002 Pacific Rim International Symposium on Dependable Computing. 293-300 (2002)
• [Publications] 高橋欣也, 山森一人, 吉原郁夫: "階層型ニューラルネットワークにおける故障補償法の定量的比較"電子情報通信学会技術報告. FIIS02-111. 1-8 (2002)
• [Publications] K.Yamamori, K.Takahashi, I.Yoshihara: "Quantitative Comparison of Defect Compensation Schemes for Multi-Layer Neural Networks with Flip-Link Defects"Proc. 8th International Symposium on Artificial Life and Robotics. Vol.2. 484-487 (2003)
• [Publications] 高橋欣也, 山森一人, 堀口進, 吉原郁夫: "Flip断線故障を持つニューラルネットワークの故障補償法の定量的比較"電子情報通信学会技術報告. FIIS03-112. 1-7 (2003)
• [Publications] 山森一人, 堀口進, 吉原郁夫: "時系列予測問題による部分再学習法の性能評価"電子情報通信学会技術報告. FIIS01・94. 1-8 (2001)
• [Publications] 山森一人, 阿部亨, 堀口進, 吉原郁夫: "故障が発見されたハードウェアニューラルネットワークの高速なオフライン故障補償"計測自動制御学会 システム・情報部門学術講演会2001 講演論文集. 447-453 (2001)
• [Publications] Kunihito Yamamori, Toru Abe, Susumu Horiguchi, Ikuo Yoshihara: "An Efficient Defect Compensation Scheme for Multi-Layer Neural Networks on WSI Devices"2002 International Joint Conference on Neural Networks. (2002)