ニューラルネットワークの高効率インメモリ・リコンフィギャラブルプロセッサの研究
| Project/Area Number |
18J20307
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Computer system
|
|---|
| Research Institution | Tokyo Institute of Technology (2019-2020)
Hokkaido University (2018) |
|---|
Principal Investigator |
安藤 洸太 東京工業大学, 工学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2018-04-25 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥3,100,000 (Direct Cost: ¥3,100,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2019: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2018: ¥1,100,000 (Direct Cost: ¥1,100,000)
|
|---|
| Keywords | ニューラルネットワーク / リコンフィギャラブルLSI / 畳込みニューラルネットワーク / 再構成可能アーキテクチャ / アクセラレータ / 量子化 / ディザ / LSI / ハードウェア志向アルゴリズム / 深層学習 / ハードウェアアクセラレータ / ハードウェアアーキテクチャ / ディジタル信号処理 |
|---|
| Outline of Annual Research Achievements |
前年度より、ニューラルネットワークの１層分の係数を格納するメモリと対となった積和演算器を再構成単位としてアレイ状に配列した、粗粒度なメモリ密結合型（ニアメモリ）リコンフィギャラブルアクセラレータを考えてきた。本年度はこの発展形として並行して発想された、演算器個別ではなく演算器アレイ全体に結合する独立制御可能なメモリにより、ニューラルネットワーク層単位でメモリ読み出し・演算・メモリ書き戻しまでをパイプライン処理する方式に注力した。
近年の大規模化するニューラルネットワークの効率的処理の観点において、処理全体の消費電力にメモリアクセスが占める割合が非常に大きいことから、一度メモリからロードされたデータを可能な限り再利用すること（算術強度の改善）が重要である。一方、近年の高速化を目指すスパースなモデルアルゴリズムには不連続・不規則なメモリアクセスを強いるものが多数となり、従来の方法での算術強度の向上は難しくなった。本方式は１）演算器アレイの行と列をデータ構造の独立の次元に当てて並列化すること、２）それぞれの演算器に供給するデータの選択は独立制御可能なメモリのアドレシングで行い、隣接メモリ間でのデータのアラインメントずれを吸収するデータ選択機構を取り入れること、３）演算器アレイでの計算結果の書き戻しもパイプライン上で行うことの３点から、不規則なデータ構造に対しても演算器の占有率と算術強度の最大化を図るものである。
この方式に基づいて試作LSIを製作し、評価を行った。その成果は現在国際会議へ投稿中（採否通知待ち）である。また、既存のニューラルネットワークモデルの認識精度を保ったまま、この演算器構造で最高効率となるスパースなデータ構造に変形しながら再学習する学習アルゴリズムも提案中である。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(3 results)
Research Products
(4 results)
-
[Journal Article] Dither NN: Hardware/Algorithm Co-Design for Accurate Quantized Neural Networks2019
Author(s)
Ando K., Ueyoshi K., Oba Y., Hirose K., Uematsu R., Kudo T., Ikebe M., Asai T., Takamaeda-Yamazaki S., and Motomura M.,
-
Journal Title
IEICE Transactions on Information and Systems
Volume: E102.D
Issue: 12
Pages: 2341-2353
DOI
NAID
ISSN
0916-8532, 1745-1361
Year and Date
2019-12-01
Related Report
Peer Reviewed / Open Access
-
-
-
