2019 Fiscal Year Annual Research Report
ニューラルネットワークの高効率インメモリ・リコンフィギャラブルプロセッサの研究
| Project/Area Number |
18J20307
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
安藤 洸太 東京工業大学, 工学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2018-04-25 – 2021-03-31
|
| Keywords | ニューラルネットワーク / 量子化 / ディザ / アクセラレータ / LSI / リコンフィギャラブルLSI / 再構成可能アーキテクチャ |
|---|
| Outline of Annual Research Achievements |
本年度前半は昨年度から継続した二値化ニューラルネットワーク(NN)の親ハードウェアな精度向上技術である“Dither NN”の研究を行った。よく知られたNNモデルであるVGG-11をベースとした学習・精度評価を行い、国内学会の口頭発表にて報告した。これに加え、今日一般的に使われているモデルであるMobileNetでの評価を行い、さらに対数量子化方式ネットワーク(LogNet)のアーキテクチャおよび一般的な符号付固定小数点数演算での処理に拡張した検討を加えて電子情報通信学会の論文誌に投稿し、採録となっている。
次に、これらアルゴリズムの研究成果から着想し、再びSRAMを中心に据えた演算器アレイによるリコンフィギャラビリティの発想に立ち返ったNNアクセラレータの計画が進行中である。ネットワーク構造の比較的小規模な1層分の係数データを格納するSRAMに積和演算アレイを結合したものを再構成単位“コア”とし、コアをアレイ状に配列してその接続を切り替えることによる粗粒度なリコンフィギャラビリティを持ったアーキテクチャである。多対多のコア間データ転送を並列かつ時分割で行うことで可変な接続を線形なリソース消費で実現できるというアイデアに基づいている。層数に対するスケーラビリティは複数コアを複数層に当てて直列に構成することで、層規模に対するスケーラビリティは複数コアを単一層に割り当て時分割に集約することで確保できる。配線と制御の複雑度を軽減し並列度と電力効率の向上を図るため、前年度からの成果である“Dither NN”をはじめとする近代的な量子化技術や、メモリアクセスのパタンに着目した近似演算手法等、最新の報告を取り入れて検討している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画では本年度までにハードウェア構造を考慮した演算・制御構造を持つ量子化ニューラルネットワークアルゴリズムを構築し、その学習・探索環境を整えて令和２年度の中心課題であるメモリ中心型アクセラレータの構想を始めることとなっていた。実際には量子化アルゴリズムの構想・構築・評価は昨年度に前倒しで始まっており、本年度前半にはその学会誌投稿を行う段階に到達した。それと並行してハードウェアに搭載するための学習・モデル自動探索環境に関して進めている一方、次期アクセラレータの実設計に着手した段階であるので、進捗状況は当初計画に概ね沿っているといえる。
|
| Strategy for Future Research Activity |
令和２年度は本研究課題の最終目標であるメモリ中心型再構成可能アーキテクチャの設計と評価を進め、これを国際会議等で発表することを第一目標とする。そのためにアーキテクチャ設計・チップ試作の準備、また成果物の実テストのためのデモ環境の構築準備と並行し、実際にアクセラレータに搭載するニューラルネットワークモデルを構築するためのソフトウェア環境の設計も重要となってくる。アプリケーションの要求、及び既存の学習済モデルを使用するのであればその構造を入力とし、アーキテクチャの物理構造に合わせてモデル構築・（再）学習を行う、実用性の高いフレームワークとなる。最後に、これらの結果を総括し、本研究課題の成果として論文誌発表等を進めてゆく。
|
Research Products
(2 results)
