• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

知能コンピューティングを加速する自己学習型・革新的アーキテクチャ基盤技術の創出

研究課題

研究課題/領域番号 18H05288
研究機関東京工業大学

研究代表者

本村 真人  東京工業大学, 科学技術創成研究院, 教授 (90574286)

研究分担者 浅井 哲也  北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之  北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也  東京大学, 情報理工学系研究科, 准教授 (60738897)
研究期間 (年度) 2018-06-11 – 2023-03-31
キーワード深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル
研究実績の概要

本研究は,DNN(深層ニューラルネットワーク)処理エンジンを中核として,その隣接領域であるアニーリング計算機とニューロモルフィックHWの最新の知見や研究進展を総合的に結集して,将来の知能コンピューティングを支える革新的アーキテクチャ基盤技術の創出を目指すものである.
DNN分野では,ISSCC(International Solid-State Circuits Conference)2018で発表した対数量子化・SRAM3次元積層チップ(QUEST)に関して,アーキテクチャ詳細の開示とともに,様々なDNNネットワーク形態の2次元演算器アレイへのマッピング手法や,量子化ビット数を変えたときの予測精度の振舞い,メモリ読み出し時間を変えたときの動作速度への影響などを総合的に評価したジャーナル論文を同最高峰ジャーナルであるIEEE JSSC(Journal of Solid-State Circuits)2019年1月号で発表した.また,本論文では,限られたチップ面積内でのバッファメモリと並列演算器アレイの面積割り当てトレードオフについても論じ,外部メモリレイテンシの短縮が実際にDNN推論性能に寄与することを明らかにしている.
ニューロモルフィック分野の注力課題として,非線形素子のプール(リザーバ)による計算の枠組みととして近年注目を集めているリザーバコンピューティングを取り上げ,原子スイッチを使ったリザーバでRNN(Recurrent NN)の置き換えを狙う研究を進めている.19年度は,記憶容量の高いリザーバの構築を目的として,不揮発アナログメモリである「原子スイッチ」(分子膜ギャップ型原子スイッチ)を情報担体として用いることにし,その大規模シミュレーションを可能にする原子スイッチの定性的モデルおよびそのSPICE実装を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

DNNエンジン,ニューロモルフィックの各分野で着々と研究成果を上げており,順調に研究が進展している.一方,DNN技術の近年の盛大な成果と実績にも拘わらず,現在のDNN技術の延長線上の技術だけでは,真に知能的な処理に到達できないとの認識が広まりつつある.問題の本質は,学習に大量のデータを必要とすること,そのような大量のデータを用意できる応用分野が限られていること,極論すると「それでいて,既に判っていることしか結局判らない」という見方ができること,などである.
このような反省から,今後DNNアルゴリズムの分野は更に自己学習や教師無し学習などを志向した,学習の原理を深堀し,より知能的な情報処理の実現を模索する方向に進む可能性が高い.これを低エネルギーで実現するDNN処理エンジンのアーキテクチャも,アルゴリズムの発展に呼応した発展が望まれる.そのような状況の中で,物理現象に学ぶアニーリング計算や,脳に学ぶニューロモルフィックは,原理やアーキテクチャの観点で,大きな貢献が生まれることが期待できる.
本研究課題では,このような方向性を提案時より強く打ち出し,各研究者の専門性を活かしながら研究を進めてきた.DNN-アニーリングニューロモルフィック-DNN等の融合領域での成果も出始めている.

今後の研究の推進方策

今後,より融合的な研究アプローチに注力することで,研究調書に記載した研究目的である,「1)DNN処理エンジン,2)アニーリング計算機,3)ニューロモルフィックなどの分野の融合形態と想定される将来的な知能コンピューティング分野で既存プログラマブルHW(=FPGA)を凌駕・置換する,自己学習型・機能獲得型リコンフィギュラブルHWプラットフォームの提案」を実現できると見込んでいる.
また,2019年以降,DNNアーキテクチャ探索技術・自動構築技術が大幅に進歩し,従来からのBP(Back Propagation)ベースの学習技術や枝刈りによるDNN構造最適化をその一部として包含するような大きな体系に発展しつつある.そこで使われる技術は,アニーリングとも共通する広い意味での離散最適化技術である.この技術体系は将来的には,BPに頼らない学習手法として発展する可能性も十分にあり,その動向をスタディしながら,2020年度からDNN-アニーリング計算機統合処理エンジンとしてアーキテクチャ化することにトライする.まずはエッジ応用を狙って研究を進める.
DNNの分野の進展は目覚ましく,与えられた構成をHW化するというスタンスでは研究として成立しない.最先端の学習・推論に関するアルゴリズム・アーキテクチャ・効率化手法等の技術の先を予想して計算基盤の構築を進める必要がある.その際,アニーリングやニューロモルフィックなど,少し先回りした基礎的な技術分野の知見を積極的にキャストすることが,真に基盤的で長期的な技術構築に重要である.知能コンピューティングを支える基盤となる自己学習型・機能獲得型リコンフィギュラブルHWプラットフォームを目指して,研究体制内個々の強みを武器にして,今後も発見的な研究に取り組んでいく.

  • 研究成果

    (19件)

すべて 2019 2018 その他

すべて 雑誌論文 (5件) (うち査読あり 5件) 学会発表 (12件) (うち国際学会 11件、 招待講演 4件) 備考 (2件)

  • [雑誌論文] QUEST: Multi-Purpose Log-Quantized DNN Inference Engine Stacked on 96-MB 3D SRAM Using Inductive Coupling Technology in 40-nm CMOS2019

    • 著者名/発表者名
      Kodai Ueyoshi, Kota Ando, Kazutoshi Hirose, Shinya Takamaeda-Yamazaki, Mototsugu Hamada, Tadahiro Kuroda, and Masato Motomura
    • 雑誌名

      IEEE Journal of Solid-State Circuits

      巻: 54, 1 ページ: 186-196

    • 査読あり
  • [雑誌論文] Formation and characterization of charge coupled structure of polyoxometalate particles and a GaAs-based nanowire for readout of molecular charge states2019

    • 著者名/発表者名
      Sasaki K., Okamoto S., Tashiro S., Asai T., and *Kasai S.
    • 雑誌名

      Japanese Journal of Applied Physics

      巻: 58, SDDE ページ: 1-6

    • 査読あり
  • [雑誌論文] Hardware-oriented algorithm and architecture for generative adversarial networks2019

    • 著者名/発表者名
      Kaneko T., Orimo K., Hida I., Takamaeda-Yamazai S., Ikebe M.., Motomura M., and *Asai T.
    • 雑誌名

      Journal of Signal Processing

      巻: 23, 4 ページ: 151-154

    • 査読あり
  • [雑誌論文] Quantization error-based regularization for hardware-aware neural network training," Nonlinear Theory and Its Applications2018

    • 著者名/発表者名
      Hirose K., Uematsu R., Ando K., Ueyoshi K., Ikebe M.., Asai T., Motomura M., and *Takamaeda-Yamazai S.
    • 雑誌名

      Nonlinear Theory and Its Applications

      巻: E9-N, 4 ページ: 148-156

    • 査読あり
  • [雑誌論文] 情報・神経科学とものづくりの学際融合による人工知能ハードウェア2018

    • 著者名/発表者名
      浅井 哲也
    • 雑誌名

      日本神経回路学会誌

      巻: 25,4 ページ: 453-465

    • 査読あり
  • [学会発表] Hardware-oriented algorithm and architecture for generative adversarial networks2019

    • 著者名/発表者名
      Kaneko T., Ikebe M., Takamaeda-Yamazai S., Motomura M., and *Asai T.
    • 学会等名
      2019 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • 国際学会
  • [学会発表] Experimental demonstration of physical reservoir computing with nonlinear electronic devices2019

    • 著者名/発表者名
      Suzuki S., Rim S., Takamaeda-Yamazai S., Ikebe M., Motomura M., and *Asai T.
    • 学会等名
      2019 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • 国際学会
  • [学会発表] Experimental demonstration of physical reservoir computing with nonlinear electronic devices2019

    • 著者名/発表者名
      uzuki S., Rim S., Takamaeda-Yamazai S., Ikebe M., Motomura M., and *Asai T.
    • 学会等名
      2019 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • 国際学会
  • [学会発表] Ternarized backpropagation: a hardware-oriented optimization algorithm for edge-oriented AI devices2019

    • 著者名/発表者名
      Kaneko T., Ikebe M.., Takamaeda-Yamazai S., Motomura M., and *Asai T.
    • 学会等名
      7th RIEC International Symposium on Brain Functions and Brain Computer
    • 国際学会
  • [学会発表] Intelligence at the Edge: Frontiers for Energy-Efficient Hardware Architectures2019

    • 著者名/発表者名
      Motomura M.
    • 学会等名
      Riken International Workshop on Neuromorphic Computing (R-WoNC’19)
    • 国際学会 / 招待講演
  • [学会発表] 神経科学と情報科学,ものづくりの学際融合によるAIハードウェア・デバイスに向けて2019

    • 著者名/発表者名
      浅井 哲也
    • 学会等名
      JEITA非ノイマン型情報処理へ向けたデバイス技術分科会
    • 招待講演
  • [学会発表] Approach to reservoir computing with Schmitt trigger oscillator-based analog neural circuits2018

    • 著者名/発表者名
      Rim S., Suzuki S., Takamaeda-Yamazai S., Ikebe M., Motomura M., and *Asai T.
    • 学会等名
      7th Japan-Korea Joint Workshop on Complex Communication Sciences
    • 国際学会
  • [学会発表] Dither NN: an accurate neural network with dithering for low bit-precision hardware2018

    • 著者名/発表者名
      Ando K., Ueyoshi K., Oba Y., Hirose K., Uematsu R., Kudo T., Ikebe M., Asai T., Takamaeda-Yamazai S., and *Motomura M.
    • 学会等名
      2018 International Conference on Field-Programmable Technology (FPT'18)
    • 国際学会
  • [学会発表] Analysis of smoothed LHE methods for processing images with optical illusions2018

    • 著者名/発表者名
      Ambalathankandy P., Shimada T., Takamaeda-Yamazai S., Motomura M.., Asai T., and *Ikebe M.
    • 学会等名
      IEEE International Conference on Visual Communications and Image Processing
    • 国際学会
  • [学会発表] Area and energy optimization for bit-serial log-quantized DNN Accelerator with shared accumulators2018

    • 著者名/発表者名
      Kudo T., Ueyoshi K., Ando K., Hirose K., Uematsu R., Oba Y., Ikebe M., Asai T., Motomura M., and *Takamaeda-Yamazai S.
    • 学会等名
      IEEE 12th International Symposium on Embedded Multicore/Many-core Systems-on-Chip
    • 国際学会
  • [学会発表] Structure-Oriented Computing: Where Software Redefines Hardware Architecture2018

    • 著者名/発表者名
      Motomura M.
    • 学会等名
      The 3rd Future Chips Forum
    • 国際学会 / 招待講演
  • [学会発表] Intelligence at the Edge: Frontiers for Energy-Efficient Hardware Architectures2018

    • 著者名/発表者名
      Motomura M.
    • 学会等名
      International IoT Solid-State Circuits Workshop
    • 国際学会 / 招待講演
  • [備考]

    • URL

      http://lalsie.ist.hokudai.ac.jp/

  • [備考]

    • URL

      http://www.artic.iir.titech.ac.jp/

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi