研究課題/領域番号 |
17J00403
|
研究機関 | 北海道大学 |
研究代表者 |
植吉 晃大 北海道大学, 大学院情報科学研究科, 特別研究員(DC1)
|
研究期間 (年度) |
2017-04-26 – 2020-03-31
|
キーワード | ハードウェアアクセラレータ / 深層学習 / システムアーキテクチャ / 量子化近似 / ハードウェア志向アルゴリズム |
研究実績の概要 |
「小型・低電力で柔軟な学習型ハードウェアシステムの構築」のために、実用的に使用可能なニューラルネットワーク計算システムアーキテクチャ を探索する。 大量のデータと演算を要する深層学習を効率的に計算するハードウェアアーキテクチャの探索として、平成29年度は、深層学習を構成するニューラルネットワーク(DNN: Deep Neural Network)の構造から最適な計算手法を解析し、最適なアーキテクチャの解の一つを提案・実装するにまで至った。まず、そこで、DNNの代表格である、畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)を二値化させた時の実行性能を最大化させる手法をField Programmable Gate Array (FPGA)をベースに解析した。その結果、商用のFPGA上でDNN演算の最小演算単位であるシナプス計算を1秒間に8兆回行えることを実証した。この結果をまとめ、2つの国内会議と1つの国際会議で発表した。 これらの解析から、さらなる実用かつ汎用的なDNNハードウェアアクセラレータを目指して、演算精度とハードウェアの特性を再考した。DNNの性能向上とともに、より高難度なタスクが要求されていることから、演算精度を保ちつつ効率的に計算できる方法として、対数量子化に着目し、解析を行った。この結果を基に、対数量子化に最適なハードウェアアーキテクチャを探索した。これを実際に設計・実装し、3次元積層技術を用いたチップに搭載させ、業界最高峰の国際会議、International Solid-State Circuits Conference (ISSCC)で発表した。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初の計画では、当該年度は、ニューラルネットワークのロバスト性を活かして、ハードウェア志向アルゴリズムの解析を行うに留まっていた。そこで、量子化近似に着目して、ソフトウェアシミュレーションにより、解析を進めた。しかし、実際は、この結果を基に、対数量子化に最適なハードウェアアーキテクチャを探索及び回路実装にまで至った。 対数量子化を用いると、高コストな乗算器を加算器のみで表現できる。この特性を生かして、要求されるタスクの難易度に応じて、データの数値表現に用いるビットの大きさを可変にできるシリアル演算を適用させた。さらに、2次元演算アレイを複数の演算コアに分割し、それぞれにプログラム可能な軽量プロセッサを実装して、任意のDNNの形を高速に演算させる手法を提案した。これを実際に設計・実装し、3次元積層技術を用いたチップに搭載させ、業界最高峰の国際会議、International Solid-State Circuits Conference (ISSCC)にて発表した。これらの成果は、実回路チップに実装できる機会を得たことから、計画をかなり前倒しにして得ることができた。
|
今後の研究の推進方策 |
現在、上記成果をまとめたものを、学会誌への投稿に向けて執筆中である。今後は、ここで得られた知見からアーキテクチャを再考し、演算機構のみならず、より効率的なメモリシステムを解析していく予定である。汎用的なシステム構築のために、ネットワークの構造変化に対応する、動的再構成可能アーキテクチャの探索を行なう。この評価をソフ トウェアシミュレーションし、1cm角のチップを想定した面積・電力の効率的なハードウ ェアシステムを提案する。 ここまで得られた結果をまとめ、論文発表を積極的に行い、この成果を世界に広めるとともに、国外の研究者を訪問し、研究交流を行なう。
|