2020 Fiscal Year Annual Research Report
Development of Deep Neural Network Accelerator Utilizing Approximate Computing
| Project/Area Number |
19H04079
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
劉 載勲 東京工業大学, 科学技術創成研究院, 准教授 (70726976)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 昌宜 大阪大学, 情報科学研究科, 教授 (80335207)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ニューラルネットワーク / 近似計算 / 電力効率 |
|---|
| Outline of Annual Research Achievements |
令和２年度は、深層ニューラルネットワークにおける精度と計算量を選択的に調整できる学習・推論アルゴリズムと、近似計算に基づくハードウェア実装方式に関する研究を行い，その成果を国際会議２件と論文誌１件として発表した。さらにもう１件の論文誌発表は現在条件付き採録状態で、修正後の投稿を行っている。
まず学習・推論アルゴリズムの研究では，ProgressiveNNと名付けたニューラルネットワーク（NN）の新たな学習・推論手法を提案し、一度の学習で得られるネットワークモデルから複数計算精度の推論処理を実現し、少ないメモリオーバーヘッドでNNの推論精度と計算量を選択可能にした。実験結果ではこれにより、８ビット重みで学習された単一のニューラルネットワークを、１ビットから８ビットまでの計算精度を１ビット単位で調整でき、CIFAR-10/100における８ビットと１ビットでの推論精度差をそれぞれ４％、１０％未満に抑えることに成功した。本成果は国際会議（CANDAR）にて発表を行い、その改良とハードウェア（HW）実装に関する内容を含め、論文誌（IJNC）に投稿し、条件付き採録の結果を得ている。
次に近似計算を用いたNNのHW実装の研究では、対数近似に基づく浮動小数点乗算器を提案し、NN学習における電力効率の改善を実現した。提案手法は評価実験において通常の浮動小数点乗算器と同等の学習性能を最大1.54倍の電力効率で達成している。こちらの研究成果は論文誌（Integration）にて発表を行った。また適応的ビット幅と電圧スケーリングに基づく深層学習のエネルギー最小化手法を提案し、その成果を国際会議（ISCAS）にて発表している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究における近似計算に基づく深層学習のアルゴリズムとハードウェアの研究は、それぞれにおいておおむね順調に進展しているが、その両方を統合した新たなハードウェアアーキテクチャの成果発表に関しては予定より遅れている状況である。これについては、昨年度４月に試作チップのテープアウトを行っているが、その研究成果の公表が遅れているのが主な原因である。
しかし、アルゴリズムとハードウェアのそれぞれの研究においては、令和２年度にも着実に成果を上げており、NNにおける計算量の削減や状況に応じた精度と計算量の選択手法をはじめ、ハードウェアレベルの電力効率向上を可能にする複数の手法を提案している。これらの手法は互いにその効果において直交する関係にあり、これらを組み合わせることによって、NNハードウェアアーキテクチャにおける更なる効率化が可能になると期待できる。
現在は、令和２年度の試作チップの論文発表を準備しつつ、新たに提案したアルゴリズムを基とする新たなハードウェアアーキテクチャの設計を進めている。
|
| Strategy for Future Research Activity |
令和３年度の研究では，主に今まで提案してきたニューラルネットワークの学習・推論アルゴリズムとハードウェアの統合に重点を置いて研究を進める．具体的には提案手法を統合したアーキテクチャをハードウェア記述言語であるVerilogHDLで実装し、ASIC・FPGA上でその機能を実現する。さらに実機による性能評価を行い、提案するアルゴリズムとアーキテクチャの統合方式の実用性を実証する。また実証実験から得られるデータを基に、提案手法に対する分析を進め、その利用効率を最大化するための方法を明らかにし、実機における性能向上を目指す。研究遂行においては代表者が所属する東京工業大学と分担者が大阪大学間で遠隔会議や直接議論を行うことで緊密な連携を取ることを予定している。
|
