2019 Fiscal Year Annual Research Report
Development of Deep Neural Network Accelerator Utilizing Approximate Computing
| Project/Area Number |
19H04079
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
劉 載勲 東京工業大学, 科学技術創成研究院, 准教授 (70726976)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 昌宜 大阪大学, 情報科学研究科, 教授 (80335207)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 近似コンピューティング / ニューラルネットワーク / 蒸留 / 訓練データ削減 |
|---|
| Outline of Annual Research Achievements |
令和１年度の研究では，深層学習のアルゴリズムおよび実装における基礎的な研究を行い，その成果として国際会議３件の発表を行った．
アルゴリズムの研究では，深層ニューラルネットワークで用いられる蒸留の概念をサポートベクタマシン(SVM)やアンサンブル学習などの他機械学習に導入する試みを行い， 精度向上の可能性を確かめた．その結果，ニューラルネットワークを教師モデルとするSVMへの蒸留で約2.8％の精度改善を確認し，APSIPAにてその成果を発表している．これは端的な実験結果ではあるが，ニューラルネットワークの作る空間情報を，他機械学習の実装形態で近似できる可能性を示したものである．
次に深層ニューラルネットワークの学習における計算量削減の試みとして精度劣化を伴わない訓練データの削減手法について検討を行った．既存のデータクリーニングでは，不要データの削減に，データ削減前に学習されたモデルとデータ削減後に学習されたモデル間の距離を比較することによってデータの必要性を判断する．それに対して本研究では，サポートベクタマシンの学習時に選ばれるサポートベクタを重要度の高いデータとしてデータ削減を行うことを検討した．その結果，比較的単純なデータではその効果を一部確認することができたが，実用的な手法の発見にはまだ至っていない．本成果は上記研究と同様にAPSIPAにて発表されている．
最後に実装面での研究では，ニューラルネットワークで必要な積和演算の近似手法として浮動小数点の対数近似乗算器を用いた実装方式を提案した．ニューラルネットワークの学習では，推論に比べて広い範囲の値を扱う必要がある．浮動小数点の対数近似乗算はその要求を満たす近似計算であり，単純なデータセットを用いた学習では最大1.54倍の電力効率を達成している．本成果についてはPATMOSにて発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究ではアルゴリズムとハードウェアの研究を並行し，それぞれにおいて当初の目標に向けておおむね順調に進展している．
まずアルゴリズムの研究では，令和1年度の研究成果に引き続き，深層ニューラルネットワークの推論精度を実現するために必要な演算処理を軽量化すべく，他機械学習の実装形態を用いた深層学習手法の研究に取り組んでいる．具体的には決定木ベースの非線形変換を用いて畳み込みニューラルネットワーク（CNN）と同等の推論処理を実現するための試みを行っており，類似する既存研究を調査しつつ研究を進めている．また近年教師データの不足から注目されている半教師あり学習や教師なし学習などの流れを鑑み，GANによる疑似訓練データの生成とそれによる学習性能の向上に関する研究を行っている．
ハードウェアの研究では，CNNの推論アクセラレータを設計し，現在ASICの試作を行っている．提案アーキテクチャはカーネルのスパース性に対応し，5x5までの任意形状のカーネルを処理できる．またチャンネル内並列度を用いた演算器アレイを採用することで畳み込みにおけるエネルギー効率を大幅に改善している．本推論アクセラレータを4月末にテープアウトを行い，令和２年度中の発表を目指している．
さらに現在はアーキテクチャとアルゴリズムの両面で更なる改良を加え，回路面積当たりの演算効率を大幅に向上させた推論用のアーキテクチャのRTL設計を行っている．新規アーキテクチャではビットシリアル演算を活用した動的な計算量削減手法を適用し，試作中のアーキテクチャに対して推論時のエネルギー効率を1桁改善することを目指す．本アーキテクチャはFPGA実装を行い，その実用性を検証する予定である
|
| Strategy for Future Research Activity |
今後の研究では，引き続きアルゴリズムとアーキテクチャの両面から深層学習における処理の軽量化とエネルギーの効率化を目指して研究を進める．そのため，アルゴリズムの研究では深層ニューラルネットワークにおける非線形変換と学習パラメータが推論性能に及ぼす影響について理論的かつ実験的な分析を行い，深層学習のアルゴリズム的な改良に向けて研究を遂行する．
またアーキテクチャの研究では，現在実装を進めている推論アクセラレータを使って深層学習のより効率的な実装方式を明確にし，それを基に更なる改良方法について研究を行う．また当初の研究計画に従って推論のみならず学習における効率的な近似計算とアーキテクチャの研究を行い，その成果を用いて高効率かつ高精度な深層学習のハードウェアを実現する．
研究遂行においては代表者が所属する東京工業大学と分担者が所属する大阪大学間で遠隔会議・対面会議を行うことで緊密な連携を取ることを想定しており，現在そのために必要な設備や環境を整えている．
|
