2018 Fiscal Year Annual Research Report
知能コンピューティングを加速する自己学習型・革新的アーキテクチャ基盤技術の創出
| Project/Area Number |
18H05288
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 哲也 北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也 東京大学, 情報理工学系研究科, 准教授 (60738897)
|
|---|
| Project Period (FY) |
2018-06-11 – 2023-03-31
|
| Keywords | 深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル |
|---|
| Outline of Annual Research Achievements |
本研究は，DNN(深層ニューラルネットワーク)処理エンジンを中核として，その隣接領域であるアニーリング計算機とニューロモルフィックHWの最新の知見や研究進展を総合的に結集して，将来の知能コンピューティングを支える革新的アーキテクチャ基盤技術の創出を目指すものである．
DNN分野では，ISSCC(International Solid-State Circuits Conference)2018で発表した対数量子化・SRAM3次元積層チップ(QUEST)に関して，アーキテクチャ詳細の開示とともに，様々なDNNネットワーク形態の2次元演算器アレイへのマッピング手法や，量子化ビット数を変えたときの予測精度の振舞い，メモリ読み出し時間を変えたときの動作速度への影響などを総合的に評価したジャーナル論文を同最高峰ジャーナルであるIEEE JSSC(Journal of Solid-State Circuits)2019年1月号で発表した．また，本論文では，限られたチップ面積内でのバッファメモリと並列演算器アレイの面積割り当てトレードオフについても論じ，外部メモリレイテンシの短縮が実際にDNN推論性能に寄与することを明らかにしている．
ニューロモルフィック分野の注力課題として，非線形素子のプール(リザーバ)による計算の枠組みととして近年注目を集めているリザーバコンピューティングを取り上げ，原子スイッチを使ったリザーバでRNN(Recurrent NN)の置き換えを狙う研究を進めている．19年度は，記憶容量の高いリザーバの構築を目的として，不揮発アナログメモリである「原子スイッチ」（分子膜ギャップ型原子スイッチ）を情報担体として用いることにし，その大規模シミュレーションを可能にする原子スイッチの定性的モデルおよびそのSPICE実装を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
DNNエンジン，ニューロモルフィックの各分野で着々と研究成果を上げており，順調に研究が進展している．一方，DNN技術の近年の盛大な成果と実績にも拘わらず，現在のDNN技術の延長線上の技術だけでは，真に知能的な処理に到達できないとの認識が広まりつつある．問題の本質は，学習に大量のデータを必要とすること，そのような大量のデータを用意できる応用分野が限られていること，極論すると「それでいて，既に判っていることしか結局判らない」という見方ができること，などである．
このような反省から，今後DNNアルゴリズムの分野は更に自己学習や教師無し学習などを志向した，学習の原理を深堀し，より知能的な情報処理の実現を模索する方向に進む可能性が高い．これを低エネルギーで実現するDNN処理エンジンのアーキテクチャも，アルゴリズムの発展に呼応した発展が望まれる．そのような状況の中で，物理現象に学ぶアニーリング計算や，脳に学ぶニューロモルフィックは，原理やアーキテクチャの観点で，大きな貢献が生まれることが期待できる．
本研究課題では，このような方向性を提案時より強く打ち出し，各研究者の専門性を活かしながら研究を進めてきた．DNN-アニーリングニューロモルフィック-DNN等の融合領域での成果も出始めている．
|
| Strategy for Future Research Activity |
今後，より融合的な研究アプローチに注力することで，研究調書に記載した研究目的である，「1)DNN処理エンジン，2)アニーリング計算機，3)ニューロモルフィックなどの分野の融合形態と想定される将来的な知能コンピューティング分野で既存プログラマブルHW(=FPGA)を凌駕・置換する，自己学習型・機能獲得型リコンフィギュラブルHWプラットフォームの提案」を実現できると見込んでいる．
また，2019年以降，DNNアーキテクチャ探索技術・自動構築技術が大幅に進歩し，従来からのBP(Back Propagation)ベースの学習技術や枝刈りによるDNN構造最適化をその一部として包含するような大きな体系に発展しつつある．そこで使われる技術は，アニーリングとも共通する広い意味での離散最適化技術である．この技術体系は将来的には，BPに頼らない学習手法として発展する可能性も十分にあり，その動向をスタディしながら，2020年度からDNN-アニーリング計算機統合処理エンジンとしてアーキテクチャ化することにトライする．まずはエッジ応用を狙って研究を進める．
DNNの分野の進展は目覚ましく，与えられた構成をHW化するというスタンスでは研究として成立しない．最先端の学習・推論に関するアルゴリズム・アーキテクチャ・効率化手法等の技術の先を予想して計算基盤の構築を進める必要がある．その際，アニーリングやニューロモルフィックなど，少し先回りした基礎的な技術分野の知見を積極的にキャストすることが，真に基盤的で長期的な技術構築に重要である．知能コンピューティングを支える基盤となる自己学習型・機能獲得型リコンフィギュラブルHWプラットフォームを目指して，研究体制内個々の強みを武器にして，今後も発見的な研究に取り組んでいく．
|
