• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

知能コンピューティングを加速する自己学習型・革新的アーキテクチャ基盤技術の創出

研究課題

研究課題/領域番号 18H05288
研究機関東京工業大学

研究代表者

本村 真人  東京工業大学, 科学技術創成研究院, 教授 (90574286)

研究分担者 浅井 哲也  北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之  北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也  東京大学, 大学院情報理工学系研究科, 准教授 (60738897)
研究期間 (年度) 2018-06-11 – 2023-03-31
キーワード深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル / リザーバ計算 / 確率的コンピューティング
研究実績の概要

確率的コンピューティングAIアーキテクチャの基礎検討を行い,メモリ部分を除き,必要な推論・学習演算を確率的コンピューティングのみで実行できるアーキテクチャを開拓した.また,強化学習のハードウェア実装に向けたDeep QネットワークのHW等価シミュレーション・評価を行い,実世界で有効な強化学習を行うためには,従来のSGDオプティマイザ(すでにHWがあるもの)だけでは不十分で,RMSPropと同等の性能を持つオプティマイザが必要となることを明らかにした.
二値化ニューラルネットワークの認識精度および信頼性向上を目指して,時間方向・空間方向の複数ニューロンの連携による情報表現方式の開発に取り組んだ.これまでのソフトウェアレベルの実験および,部分的なハードウェアの開発により,少ないハードウェア規模の増大で,従来の二値化ニューラルネットワークの高精度化手法を上回る認識精度を達成することを確認した.単一のネットワーク重みを用いてビットスケーラブルな推論を可能とする手法であるProgressiveNNについて,CIFAR-100/ResNet18における評価で1ビット幅の推論精度を65%まで回復させることを確認した.結合重みを乱数に固定したまま結合を枝刈りしていくことで学習する新たなCNN構造(乱数重み固定CNN)の推論アーキテクチャ及びその学習手法の研究を進めた.既提案のDither NNを一般化し,1b等の低ビット表現ニューラルネットワークの空間方向の自由度を活用する新たな活性化関数を開発した.
カスコード型U-netにおいて,特にセンサに特有なポアソンノイズ除去ではタイリングが有効に働くことを見出した.また局所適応画像処理において,低解像度化DCNNによる空間物体の識別によって空間制御パラメータを操作する研究を進めた.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

上述のように,DNNアーキテクチャやその画像応用,リザーバ計・確率的コンピューティングの各分野で着々と研究成果を上げており,順調に研究が進展している.また,当初の構想通り,分野間の技術や発想の融合も着々と進展している.例えば,上に述べた乱数重み固定型CNNは,隠れニューラルネットワークの理論に基づいているが,リザーバ・確率的コンピューティングの発想をDNNの枠組みに展開したものとも言える.また,その学習過程は離散最適化問題を並列に解くアニーリングプロセスとして理解することもでき,その観点から学習を効率化する研究も進めている.低ビット量子化についても,従来発表値よりも高い認識精度が達成可能であるデータを得ており,今後発表予定である.また,画像応用に関しても,入力画像のスパース性ないしは空間局所性の積極的な活用やNWの動的再構成による新たな応用開拓など,個々のテーマ間の結びつきが生まれている.リザーバ計算に関しては,光リザーバ等で主に採用されている環状ネットワークの光伝搬動作を基に、原子スイッチ上を移動する電流ヘッダの移動により模擬する(シフトレジスタを模擬する)原子スイッチリザーバを構築している.今後も,世界的に知的情報処理に関する研究分野間の融合が進んでいくものと思われるが,参加各研究者の専門性を活かしながら,独自性の高い研究を進めて成果を創出できている.今後は,更に,自己学習や教師無し学習などを志向して,学習の原理を深堀し,そのアーキテクチャ実現を模索する中で,より知能的な情報処理の実現を模索する展開を狙っていきたい.

今後の研究の推進方策

本研究は,DNN処理エンジンを中核として,その隣接領域であるアニーリング計算機とニューロモルフィックHW(リザーバコンピューティングや確率的コンピューティングも含む)の最新の知見や研究進展を総合的に結集して,将来の知能コンピューティングを支える革新的アーキテクチャ基盤技術の創出を目指すものである.隠れニューラルネットワーク理論は,上記のように本基盤S課題の方向性と合致する有望な理論である.アニーリングを活用したニューラルネットワーク学習のモデルとその学習ハードウェアアーキテクチャの研究を進める.
また,二値化DNNアクセラレータの回路をベースにした,ビットレベルスパース性を活用するアーキテクチャの研究を進める.量子化誤差を減らす正則化技術を応用し,ビットレベルスパース性を増やすことで,実効メモリサイズの低減と演算効率の向上を目指す.また,二値化DNNアクセラレータとの共通回路構成を検討する.あわせて,学習済みモデルに特化した仮想ニューロン・物理シナプス型のDNN演算回路のコンパイル技術についても研究を進める.
更に,極低電力・省面積なメモリセルを構築するために「サブスレッショルドCMOS双安定回路」を外部雑音源で駆動し,並行移動量をアナログ値としてフローティングゲートMOS FETで保持する方式で試作を行う.また固定小数点の打ち切りおよび対数量子化を活用してモメンタムオプティマイザを構成すると,RMSPropと類似の重み個別の学習係数調整が可能になることを利用して,軽量学習ハードウェアを構築し,そのエッジ応用を開拓する.
加えて,センサアレイによる出力情報を画像として指・物体の変形投影形状とその圧力から物体の柔らかさを取得するNW構造を研究する.センシングに活用するためには,エッジに搭載するための軽量化とオンライン学習機構の工夫が必要であり,これらを念頭に研究を進める.

  • 研究成果

    (33件)

すべて 2022 2021 その他

すべて 雑誌論文 (7件) (うち査読あり 6件) 学会発表 (22件) (うち国際学会 2件、 招待講演 9件) 備考 (4件)

  • [雑誌論文] HDR Tone mapping: System Implementations and Benchmarking2022

    • 著者名/発表者名
      Ikebe Masayuki、Ambalathankandy Prasoon、Ou Yafei
    • 雑誌名

      ITE Transactions on Media Technology and Applications

      巻: 10 ページ: 27~51

    • DOI

      10.3169/mta.10.27

  • [雑誌論文] ProgressiveNN: Achieving Computational Scalability with Dynamic Bit-Precision Adjustment by MSB-first Accumulative Computation2021

    • 著者名/発表者名
      Junnosuke Suzuki, Tomohiro Kaneko, Kota Ando, Kazutoshi Hirose, Kazushi Kawamura, Thiem Van Chu, Masato Motomura, Jaehoon Yu
    • 雑誌名

      International Journal of Networking and Computing

      巻: 11 ページ: 338-353

    • 査読あり
  • [雑誌論文] Holmes: A hardware-oriented optimizer using logarithms2021

    • 著者名/発表者名
      Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T.
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: - ページ: -

    • 査読あり
  • [雑誌論文] Hardware-oriented deep reinforcement learning for edge computing2021

    • 著者名/発表者名
      Yamagishi Yoshiharu、Kaneko Tatsuya、Akai-Kasaya Megumi、Asai Tetsuya
    • 雑誌名

      Nonlinear Theory and Its Applications, IEICE

      巻: 12 ページ: 526~544

    • DOI

      10.1587/nolta.12.526

    • 査読あり
  • [雑誌論文] Applying a Molecular Device to Stochastic Computing Operation for a Hardware AI System Design2021

    • 著者名/発表者名
      Kan Shaohua、Sasaki Yoshiaki、Asai Tetsuya、Akai-Kasaya Megumi
    • 雑誌名

      Journal of Signal Processing

      巻: 25 ページ: 221~225

    • DOI

      10.2299/jsp.25.221

    • 査読あり
  • [雑誌論文] Warm-cool color-based high-speed decolorization: an empirical approach for tone mapping applications2021

    • 著者名/発表者名
      Ambalathankandy Prasoon、Ou Yafei、Ikebe Masayuki
    • 雑誌名

      Journal of Electronic Imaging

      巻: 30 ページ: -

    • DOI

      10.1117/1.JEI.30.4.043026

    • 査読あり
  • [雑誌論文] Edge Inference Engine for Deep & Random Sparse Neural Networks with 4-bit Cartesian-Product MAC Array and Pipelined Activation Aligner2021

    • 著者名/発表者名
      Ando Kota、Yu Jaehoon、Hirose Kazutoshi、Nakahara Hiroki、Kawamura Kazushi、Van Chu Thiem、Motomura Masato
    • 雑誌名

      IEEE Hot Chips 33 Symposium Proceedings

      巻: - ページ: -

    • DOI

      10.1109/HCS52781.2021.9567328

    • 査読あり
  • [学会発表] ビットスケーラブルCNNにおける計算量・精度トレードオフ制御手法の検討2021

    • 著者名/発表者名
      鈴木 淳之介, 安藤 洸太, 廣瀬 一俊, 川村 一志, Thiem Van Chu, 本村 真人, 劉載勲
    • 学会等名
      LSIとシステムとワークショップ
  • [学会発表] LSI技術が開く構造型情報処理の新展開2021

    • 著者名/発表者名
      本村真人
    • 学会等名
      LSIとシステムとワークショップ
    • 招待講演
  • [学会発表] 対称二進表現に基づくビットスケーラブルCNN推論手法2021

    • 著者名/発表者名
      鈴木 淳之介, 安藤 洸太, 廣瀬 一俊, 川村 一志, Thiem Van Chu, 本村 真人, 劉載勲
    • 学会等名
      電子情報通信学会リコンフィギャラブルシステム研究会
  • [学会発表] CGRAs for Broad Embedded Market & for Neural Networks2021

    • 著者名/発表者名
      Masato Motomura
    • 学会等名
      IEEE International Conference on Application-specific Systems, Architectures and Processors (ASAP)
    • 招待講演
  • [学会発表] AIチップの現状と今後について2021

    • 著者名/発表者名
      本村真人
    • 学会等名
      JEITAシーオリエンテッド先端実装技術分科会
    • 招待講演
  • [学会発表] 二値・三値・量子化ニューラルネットワークの推論LSIと学習アルゴリズム2021

    • 著者名/発表者名
      安藤洸太
    • 学会等名
      多値論理研究会 多値論理フォーラム
    • 招待講演
  • [学会発表] 確率的コンピューティングを導入した多層パーセプトロンのディジタル実装2021

    • 著者名/発表者名
      佐々木 義明, 村松 聖倭, 西田 浩平, 赤井 恵, 浅井 哲也
    • 学会等名
      電子情報通信学会複雑コミュニケーションサイエンス研究会
  • [学会発表] 強化学習を用いたマイコン制御ロボットアーム間の物体移動評価2021

    • 著者名/発表者名
      山岸 善治, 金子 竜也, 百瀬 啓, 赤井 恵, 浅井 哲也
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] アナログAIデバイスのオンライン学習に向けた学習アルゴリズムとそのFPGAアーキテクチャ2021

    • 著者名/発表者名
      金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也
    • 学会等名
      第34回 回路とシステムワークショップ
  • [学会発表] Applying a molecular device to stochastic computing operation for a hardware AI system design2021

    • 著者名/発表者名
      Kan S., Sasaki Y., Asai T., and Akai-Kasaya M
    • 学会等名
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
  • [学会発表] Digital implementation of a multilayer perceptron based on stochastic computing with online learning function2021

    • 著者名/発表者名
      Sasaki Y., Muramatsu S., Nishida K., Akai-Kasaya M., and Asai T.
    • 学会等名
      The 2021 Nonlinear Science Workshop
  • [学会発表] Hardware design of the target Q-network for edge-oriented deep reinforcement learning2021

    • 著者名/発表者名
      Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T.
    • 学会等名
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2021
  • [学会発表] 超スマート社会に向けたニューロモルフィック材料・デバイス・システムの展望2021

    • 著者名/発表者名
      浅井 哲也
    • 学会等名
      日本金属学会 2021年春期大会
    • 招待講演
  • [学会発表] 研究開発の動向とエッジAIアプリ創出の展望2021

    • 著者名/発表者名
      浅井 哲也
    • 学会等名
      JST新技術説明会
    • 招待講演
  • [学会発表] ニューロモルフィック情報処理とその集積システム2021

    • 著者名/発表者名
      浅井 哲也
    • 学会等名
      応用物理学会秋季学術講演会シンポジウム
    • 招待講演
  • [学会発表] ニューロモルフィック工学と集積システム2021

    • 著者名/発表者名
      浅井 哲也
    • 学会等名
      バイオ・マイクロ・ナノテク研究会
    • 招待講演
  • [学会発表] CMOSイメージセンサ用連続サンプリング型VCO-ADC2021

    • 著者名/発表者名
      鎌田夏実
    • 学会等名
      電子情報通信学会ICD,SDM・映像情報メディア学会IST共催研究会
  • [学会発表] 逐次生体情報を用いた認証システム・ハードウェアの研究2021

    • 著者名/発表者名
      弓削田陸生
    • 学会等名
      LSIとシステムのワークショップ2021
  • [学会発表] "Hot" Techs for "Cool" AI Computing: Do We have Enough Tricks?2021

    • 著者名/発表者名
      Masato Motomura
    • 学会等名
      Cool Chips 24.(招待講演)
    • 国際学会 / 招待講演
  • [学会発表] HotChips2021にみる機械学習アクセラレータの動向:東工大DNN推論アクセラレータの発表内容紹介,及びその他の同分野発表サマリ2021

    • 著者名/発表者名
      本村真人
    • 学会等名
      第31回AIチップ設計拠点フォーラム
  • [学会発表] エッジ学習に向けたモーメンタム最適化法のハードウェア設計2021

    • 著者名/発表者名
      第34回 回路とシステムワークショップ
    • 学会等名
      電子情報通信学会ソサイエティ大会
  • [学会発表] A CMOS global shutter THz Image Sensor with Process Variation Compensation Techniqu2021

    • 著者名/発表者名
      Ikebe, M.
    • 学会等名
      The 3rd Workshop on Quantum Beam Imaging
    • 国際学会
  • [備考] 東京工業大学AIコンピューティング

    • URL

      http://www.artic.iir.titech.ac.jp/wp/

  • [備考] 北海道大学アドバンストLSI工学研究グループ

    • URL

      http://lalsie.ist.hokudai.ac.jp/jp/

  • [備考] 東京大学コンピュータアーキテクチャ・システム研究室

    • URL

      https://sites.google.com/view/casys-ja/

  • [備考] 北海道大学量子マルチメディアシステム研究室

    • URL

      https://www.rciqe.hokudai.ac.jp/education/labo/iqs/

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi