ニューラルネットワークの高効率インメモリ・リコンフィギャラブルプロセッサの研究

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18J20307
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 安藤 洸太 東京工業大学, 工学院, 特別研究員(DC1)
• Project Period (FY): 2018-04-25 – 2021-03-31
• Keywords: ニューラルネットワーク / リコンフィギャラブルLSI / 畳込みニューラルネットワーク / 再構成可能アーキテクチャ / アクセラレータ

Outline of Annual Research Achievements

前年度より、ニューラルネットワークの１層分の係数を格納するメモリと対となった積和演算器を再構成単位としてアレイ状に配列した、粗粒度なメモリ密結合型（ニアメモリ）リコンフィギャラブルアクセラレータを考えてきた。本年度はこの発展形として並行して発想された、演算器個別ではなく演算器アレイ全体に結合する独立制御可能なメモリにより、ニューラルネットワーク層単位でメモリ読み出し・演算・メモリ書き戻しまでをパイプライン処理する方式に注力した。
近年の大規模化するニューラルネットワークの効率的処理の観点において、処理全体の消費電力にメモリアクセスが占める割合が非常に大きいことから、一度メモリからロードされたデータを可能な限り再利用すること（算術強度の改善）が重要である。一方、近年の高速化を目指すスパースなモデルアルゴリズムには不連続・不規則なメモリアクセスを強いるものが多数となり、従来の方法での算術強度の向上は難しくなった。本方式は１）演算器アレイの行と列をデータ構造の独立の次元に当てて並列化すること、２）それぞれの演算器に供給するデータの選択は独立制御可能なメモリのアドレシングで行い、隣接メモリ間でのデータのアラインメントずれを吸収するデータ選択機構を取り入れること、３）演算器アレイでの計算結果の書き戻しもパイプライン上で行うことの３点から、不規則なデータ構造に対しても演算器の占有率と算術強度の最大化を図るものである。
この方式に基づいて試作LSIを製作し、評価を行った。その成果は現在国際会議へ投稿中（採否通知待ち）である。また、既存のニューラルネットワークモデルの認識精度を保ったまま、この演算器構造で最高効率となるスパースなデータ構造に変形しながら再学習する学習アルゴリズムも提案中である。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。