2023 Fiscal Year Annual Research Report
Time-Space Re-configurable Flash Computations
| Project/Area Number |
21K11809
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
ZHANG Renyuan 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00709131)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
木村 睦 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員教授 (60368032)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | スパイキングニューラルネットワーク / 確率的学習 |
|---|
| Outline of Annual Research Achievements |
時間再構成可能な近似計算プラットフォームと空間再構成可能な近似計算プラットフォームの両方を、昨年度の成果を基に改良した。時間的プログラマビリティについては、独自のトポロジー "DiaNet "を用いた完全並列再構成可能なスパイキングニューラルネットワーク(SNN)アクセラレータを開発した。従来のDiaNetシリーズと比較して、SNN版DiaNetをハードウェア上で完全並列化することで、ニューロン計算とウェイトメモリのコストを大幅に削減した。さらに、個々の分類器の層深度を圧縮して待ち時間を短縮するために、学習時の消失勾配問題を緩和するレイヤースキップ接続を導入している。提案するアクセラレータの最適な設定を探索するために様々な実験を行った。提案するSNNアクセラレータをXilinx ZCU102 FPGAで検証した。その結果，提案するSNNアクセラレータはMNISTデータセットを用いて97.1%の精度と40.1GSOP/s/Wのエネルギー効率を達成した。空間再構成可能性のために、メモリ効率の良い確率計算ニューラルネットワーク(SCNN)のための非決定論的学習アプローチを提案した。本アプローチは、推論中に全精度のNNをSCNNに変換するために長いビットストリームに依存する方法とは異なり、長いビットストリームによるメモリ要件の増大を緩和するために、学習中に非決定論的計算の概念を導入する。この目的のため、学習段階のフィードフォワード過程においてNNのパラメータを確率化し、確率に従って1/4/8ビットの確率的数値表現に変換することで、SCにおけるメモリ要件を大幅に削減する。低ビット符号化に起因する学習不安定性の問題を緩和するため、学習過程における多重並列学習戦略(MPTS)を提案し、結果の安定性を向上させる。提案するMPTSは、投票メカニズムにより安定した訓練過程を実現する。
|
