| Project/Area Number |
20K04626
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21060:Electron device and electronic equipment-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
OHSAWA Takashi 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授(任期付) (10613391)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | ディープ・ニューラル・ネットワーク / イン・メモリ・コンピューティング / 不揮発性メモリ / オフセット電圧 / オペアンプ / トレーニング・プログラム / MOSFET / 閾値電圧ばらつき / ニューラルネットワーク / 不揮発性メモリデバイス / アンデュアランス / ニューロモルフィックシステム / 新機能メモリ |
|---|
| Outline of Research at the Start |
本研究は不揮発性の新機能メモリを用いて人工ニューラルネットワークにおける推論を高速かつローパワーで実行するエンジンにおいて、その学習をオンチップで行えるようにするものである。一般的に確立された学習アルゴリズムとして逆誤差伝搬法があるが、これに基づいた学習をオンチップで実行するにはアナログの乗算回路が必要となるなど、シナプス回路に新機能メモリ素子を用いて小型化したメリットの意味が薄れてしまう問題が出てくる。そこで、逆誤差伝搬法よりもハードウェアへの負担が軽いくなる新しい学習アルゴリズムを提案し、それに基づいた学習が実行できるニューラルネットワークエンジンの設計を可能とする技術を研究する。
|
| Outline of Final Research Achievements |
We have been studying on training methods to recover the accuracy degradation in an inference accelerator of neural networks due to the circuit imperfection. Although it was initially supposed that "on-chip training" would be the best method for achieving the goal, it was found that it introduced additional factors which degrade the accuracy because the circuits which are implemented in the backward path and are not used in the forward inference path lead to another root cause of the accuracy degradation. "In-situ training" was another candidate for the solution. However, this suffers from the nonvolatile memory devices' endurance issues, non-linearity and asymmetry switching characteristics issues. Finally, we proposed a novel training method named "hardware-conscious software training" in which the circuits' imperfections are implemented into the training program. It was verified that the inference accuracy which was degraded by the circuit parameter fluctuations can be recovered.
|
| Academic Significance and Societal Importance of the Research Achievements |
ニューラルネットワークによる画像認識などを不揮発性メモリを用いた専用集積回路で実現することは、汎用コンピュータにおけるソフトウェアで実現する方式に比べて消費電力と計算速度の点で大きなメリットがある。しかし、専用集積回路チップを製造する際に避けられない素子特性のばらつきにより、認識精度が低下しまう問題があった。我々は、この問題を解決する新たな学習方法を提案した。これは、素子特性のばらつきの一部を測定した後に、それらを学習プログラムに取り込む方法であり、認識精度劣化がほぼ完全に回復できることを示せた。この方法は不揮発性メモリの特性劣化やスイッチングの非線形性・非対称性の課題も解決できるものである。
|
