知能コンピューティングを加速する自己学習型・革新的アーキテクチャ基盤技術の創出

2019 年度 実績報告書

• 研究課題/領域番号: 18H05288
• 研究機関: 東京工業大学
• 研究代表者: 本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
• 研究分担者: 浅井 哲也 北海道大学, 情報科学研究院, 教授 (00312380) ; 池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613) ; 高前田 伸也 北海道大学, 情報科学研究院, 准教授 (60738897)
• 研究期間 (年度): 2018-06-11 – 2023-03-31
• キーワード: 深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル / リザーバ計算 / 確率的コンピューティング

研究実績の概要

DNNアーキテクチャ：単一のネットワーク重みを用いてビットスケーラブルな推論を可能とする手法であるProgressiveNNを提案した．CIFAR-100/ResNet18における評価で1ビット幅の推論精度を65%まで回復させることを確認した．結合重みを乱数に固定したまま結合を枝刈りしていくことで学習する新たなCNN構造(乱数重み固定CNN)の推論アーキテクチャ及びその学習手法の研究を進めた．並行して，低ビット量子化ニューラルネットワークの研究に取り組んだ。既提案のDither NNを一般化し、1b等の低ビット表現ニューラルネットワークの空間方向の自由度を活用する新たな活性化関数を開発した。
DNNの画像処理応用：カスコード型U-netにおいて、特にセンサに特有なポアソンノイズ除去ではタイリングが有効に働くことを見出した。また局所適応画像処理において、低解像度化DCNNによる空間物体の識別によって空間制御パラメータを操作する研究を進めた。
リザーバコンピューティング：原子スイッチが持つ非線形性および短期記憶能力（忘却能力）を活かすアーキテクチャを特徴とする原子スイッチリザーバを構築した。シミュレーション評価により物理レザバーとしては現在最高水準の精度と線形メモリ性能を持つことを示した（国際会議NCSP 2021の学生論文賞を受賞。Journal of Signal Processing誌に掲載決定）。
確率的コンピューティング：多層パーセプトロンのフォワード演算およびバックプロパゲーション演算回路の確率的動作回路の構築および検証が完了した。（1）非線形活性化関数の確率回路表現、（2）負の重み・演算の生物的手法による模擬と確率回路表現、および（3）前述の（1）（2）を理論的に組み込んだ新規バックプロパゲーションアルゴリズムの構築と確率回路表現が完了している（特許出願手続き中）．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究は，DNN(深層ニューラルネットワーク)処理エンジンを中核として，その隣接領域であるアニーリング計算機とニューロモルフィックHW(リザーバコンピューティングや確率的コンピューティングも含む)の最新の知見や研究進展を総合的に結集して，将来の知能コンピューティングを支える革新的アーキテクチャ基盤技術の創出を目指すものである．上述のように，DNNアーキテクチャやその画像応用，リザーバ計算・確率的コンピューティングの各分野で着々と研究成果を上げており，順調に研究が進展している．また，当初の構想通り，分野間の技術や発想の融合も着々と進展している．例えば，上に述べた乱数重み固定型CNNは，リザーバ・確率的コンピューティングの発想をDNNの枠組みに展開したものとも言える．また，その学習過程はアニーリングプロセスとして理解することもでき，その観点から学習を効率化する研究もスタートした．低ビット量子化についても，従来発表値よりも高い認識精度が達成可能であるデータを得ており，今後発表予定である．また，画像応用に関しても，入力画像のスパース性ないしは空間局所性の積極的な活用やNWの動的再構成による新たな応用開拓など，個々のテーマ間の結びつきが生まれている．リザーバ計算に関しては，光リザーバ等で主に採用されている環状ネットワークの光伝搬動作を基に、原子スイッチ上を移動する電流ヘッダの移動により模擬する（シフトレジスタを模擬する）原子スイッチリザーバを構築している．今後も，世界的に知的情報処理に関する研究分野間の融合が進んでいくものと思われるが，参加各研究者の専門性を活かしながら，独自性の高い研究を進めて成果を創出できている．今後は，更に，自己学習や教師無し学習などを志向して，学習の原理を深堀し，そのアーキテクチャ実現を模索する中で，より知能的な情報処理の実現を模索する展開を狙っていきたい．

今後の研究の推進方策

DNNアーキテクチャ：乱数固定型CNNの推論アーキテクチャ・学習手法について具体化を進める．前者は，具体的なLSIとしての実現を目指すとともに，後者は，アンサンブル学習の手法をNW構造の重ね合わせの形で取り込むことで，新たな学習手法の提案を目指す．また，スパースな入力に対するCNN推論処理アーキテクチャを検討する．更に，低ビット量子化DNNにおいて，空間方向の複数ニューロンの連携による情報表現方式の研究に取り組む．
DNNの画像処理応用：動的にNW構成を変更する手法を応用した研究開発を行う。まず，距離学習における量子化の影響を低減するため、量子化誤差の演算を段階的なNW変更によって担うことを念頭に研究を進める。更に、知的なノイズ除去・画像復元において，画像再構成時に新たなアーティファクトを生む問題に着目し，このアーティファクトを動的なNW再構成機構を利用して再学習する手法を研究する．
リザーバ計算：環状リザーバの仮想ノードにアナログCMOS回路を用いた新規リザーバの性能評価および最適化を行う。各ノードのアナログCMOS回路はサブスレッショルド領域で動作するnMOS FET 1個とMOSキャパシタにより構成可能である。今後はその性能を追求するためのパラメータ探査と最適化を行い、可能であればチップ試作外注のための予備設計まで進めたい。
確率的コンピューティング：「確率的メモリ」の実現に向けた検討を行う。ディジタル回路で確率的メモリを構成しようとすると、確率ドメインの入力信号を一旦デコードして数値化し、それをRAMに保持・更新しつつ、そのRAMの記憶値と乱数をディジタルコンパレータ（加算器）で比較し出力する（値を確率ドメインに戻す）必要があり、面積・電力オーバーヘッドが大きい。そのため、不揮発メモリ素子（ReRAM）とアナログ回路を用いたコンパクトかつ低電力な確率的メモリを構築する。

研究成果

• [雑誌論文] Reservoir computing on atomic switch arrays with high precision and excellent memory characteristics (2021)
  • 著者名/発表者名: Kubota H., Hasegawa T., Akai-Kasaya M., and Asai T.
  • 雑誌名: Journal of Signal Processing 巻: Vol.25 ページ: 1-8
  • 査読あり
• [雑誌論文] Hardware-oriented deep reinforcement learning for edge computing (2021)
  • 著者名/発表者名: Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T.
  • 雑誌名: Nonlinear Theory and Its Applications 巻: Vol.12 ページ: 1-8
  • 査読あり
• [雑誌論文] Real-time tone mapping: a survey and cross-implementation hardware benchmark (2021)
  • 著者名/発表者名: Yafei Ou, Prasoon Ambalathankandy, Shinya Takamaeda-Yamazaki, Masato Motomura, Tetsuya Asai, Masayuki Ikebe
  • 雑誌名: IEEE Transactions on Circuits and Systems for Video Technology 巻: Early Access ページ: 1-21
  • 査読あり
• [雑誌論文] Quantification of Joint Space Width Difference on Radiography Via Phase-Only Correlation (POC) Analysis: a Phantom Study Comparing with Various Tomographical Modalities Using Conventional Margin-Contouring (2021)
  • 著者名/発表者名: Aimi Taguchi, Shun Shishido, Yafei Ou, Masayuki Ikebe, Tianyu Zeng, Wanxuan Fang, Koichi Murakami, Toshikazu Ueda, Nobutoshi Yasojima, Keitaro Sato, Kenichi Tamura, Kenneth Sutherland, Nozomi Oki, Ko Chiba, Kazuyuki Minowa, Masataka Uetani & Tamotsu Kamishima
  • 雑誌名: Journal of Digital Imaging 巻: 34 ページ: 96-104
  • 査読あり
• [雑誌論文] 深層ニューラルネットワーク向けプロセッサ技術の実例と展望 (2020)
  • 著者名/発表者名: 本村 真人, 高前田 伸也, 植吉 晃大, 安藤 洸太, 廣瀨 一俊
  • 雑誌名: 電子情報通信学会和文論文誌C, J103-C (05) 巻: J103-C ページ: 1-8
  • 査読あり
• [雑誌論文] Selective Fine-Tuning on a Classifier Ensemble: Realizing Adaptive Neural Networks With a Diversified Multi-Exit Architecture (2020)
  • 著者名/発表者名: Kazutoshi Hirose, Shinya Takamaeda-Yamazaki, Jaehoon Yu, Masato Motomura
  • 雑誌名: IEEE Access 巻: Vol.9 ページ: 6179-6187
  • 査読あり
• [雑誌論文] An Adaptive Global and Local Tone Mapping Algorithm Implemented on FPGA (2020)
  • 著者名/発表者名: Prasoon Ambalathankandy, Masayuki Ikebe, Takashi Yoshida, Takeshi Shimada, Shinya Takamaeda- Yamazaki, Masato Motomura, and Tetsuya Asai
  • 雑誌名: IEEE Transactions on Circuits and Systems for Video Technology 巻: 30 ページ: 3015-3028
  • 査読あり
• [雑誌論文] Dither NN: Hardware/Algorithm Co-Design for Accurate Quantized Neural Networks (2019)
  • 著者名/発表者名: Kota Ando, Kodai Ueyoshi, Yuka Oba, Kazutoshi Hirose, Ryota Uematsu, Takumi Kudo, Masayuki Ikebe, Tetsuya Asai, Shinya Takamaeda-Yamazaki, Masato Motomura
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E102 ページ: 1-8
  • 査読あり
• [学会発表] ポストノイマン・ポストムーア時代の情報処理アーキテクチャ (2021)
  • 著者名/発表者名: 本村真人
  • 学会等名: 2021年 第68回 応用物理学会春季学術講演会，一般公開シンポジウム：AI/IoT時代を支えるポストムーアパラダイムへの挑戦
  • 招待講演
• [学会発表] Hardware design of the target Q-network for edge-oriented deep reinforcement learning (2021)
  • 著者名/発表者名: Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T.
  • 学会等名: RISP International Workshop on Nonlinear Circuits
  • 国際学会
• [学会発表] Reservoir computing on atomic switch arrays with high precision and excellent memory characteristics (2021)
  • 著者名/発表者名: Kubota H., Hasegawa T., Akai-Kasaya M., and Asai T.
  • 学会等名: RISP International Workshop on Nonlinear Circuits
  • 国際学会
• [学会発表] 原子スイッチアレイを用いた物理リザバーコンピューティング (2021)
  • 著者名/発表者名: 久保田 宙, 長谷川 剛, 赤井 恵, 浅井 哲也
  • 学会等名: 第68回応用物理学会春季学術講演会
• [学会発表] 強化学習を用いたマイコン制御ロボットアーム間の物体移動評価 (2021)
  • 著者名/発表者名: 山岸 善治, 金子 竜也, 百瀬 啓, 赤井 恵, 浅井 哲也
  • 学会等名: 2021年電子情報通信学会総合大会
• [学会発表] A 32x32-Pixel Global Shutter CMOS THz Imager with VCO-Based ADC (2021)
  • 著者名/発表者名: Yuri Kanazawa
  • 学会等名: 26th Asia and South Pacific Design Automation ConferenceASP-DAC 2021
  • 国際学会 / 招待講演
• [学会発表] ProgressiveNN: Achieving Computational Scalability without Network Alteration by MSB-first Accumulative Computation (2020)
  • 著者名/発表者名: Junnosuke Suzuki, Kota Ando, Kazutoshi Hirose, Kazushi Kawamura, Thiem Van Chu, Masato Motomura, Jaehoon Yu
  • 学会等名: : International Symposium on Computing and Networking (CANDAR)
  • 国際学会
• [学会発表] Designing AI Accelerator Chips for the Smarter Future (2020)
  • 著者名/発表者名: Masato Motomura
  • 学会等名: International Conference on Integrated Circuits, Technologies and Applications (ICTA)
  • 国際学会 / 招待講演
• [学会発表] Domain-Specific Architectures for Boosting "Compute for Intelligence (2020)
  • 著者名/発表者名: Masato Motomura
  • 学会等名: International Workshop on Computer Systems and Architectures (CSA)
  • 国際学会 / 招待講演
• [学会発表] 効率的なDNN計算のための無効ニューロン予測手法の評価 (2020)
  • 著者名/発表者名: 池田 泰我, 植吉 晃大, 安藤 洸太, 廣瀨 一俊, 浅井 哲也, 本村 真人, 高前田 伸也
  • 学会等名: 情報処理学会 システム・アーキテクチャ研究会
• [学会発表] 無効ニューロン予測によるDNN計算効率化手法 (2020)
  • 著者名/発表者名: 植吉 晃大, 池田 泰我, 安藤 洸太, 廣瀨 一俊, 浅井 哲也, 高前田 伸也, 本村 真人
  • 学会等名: 電子情報通信学会 リコンフィギャラブルシステム研究会
• [学会発表] Reconfigurable and Domain-Specific Hardware for AI Computing (2020)
  • 著者名/発表者名: Masato Motomura
  • 学会等名: IEEE SSCS Distinguished Lecturer
  • 国際学会 / 招待講演
• [学会発表] Digital implement of 3-layered neural networks with stochastic activation, shunting inhibition, and a dual-rail backpropagation (2020)
  • 著者名/発表者名: Sasaki Y., Nishida K., Akai-Kasaya M., and Asai T.
  • 学会等名: The 9th RIEC International Symposium on Brain Functions and Brain Computer
  • 国際学会
• [学会発表] 分子膜ギャップ型原子スイッチのSPICEモデル (2020)
  • 著者名/発表者名: 久保田 宙, 長谷川 剛, 赤井 恵, 浅井 哲也
  • 学会等名: 第67回応用物理学会春季学術講演会
• [学会発表] A CMOS THz Image Sensor with Process Variation Tolerance Technique (2020)
  • 著者名/発表者名: Masayuki Ikebe
  • 学会等名: IEEE International Symposium on Radio-Frequency Integration Technology
  • 国際学会 / 招待講演
• [学会発表] 画素並列ADCを持つグローバルシャッタ型テラヘルツ光CMOSイメージセンサとその補正機構 (2020)
  • 著者名/発表者名: 池辺将之
  • 学会等名: テラヘルツシステム応用推進協議会
  • 招待講演
• [学会発表] イメージセンサと局所適応型画像処理の開発とその展望 (2020)
  • 著者名/発表者名: 池辺将之
  • 学会等名: 映像情報メディア学会2020年次大会
  • 招待講演
• [学会発表] センシング後の画像処理に向けた高速・適応型輝度チャネル表現 (2020)
  • 著者名/発表者名: 池辺将之
  • 学会等名: 情報センシング研究会（IST）新規イメージセンサ・光源・信号処理に基づくイメージセンシング
• [学会発表] AI Computing: The Promised Land for Computer Architecture Innovation? (2019)
  • 著者名/発表者名: Masato Motomura
  • 学会等名: Future Chips Forum
  • 国際学会 / 招待講演
• [学会発表] Radiography Contrast Enhancement: Smoothed LHE Filter a Practical Solution for Digital X-Rays with Mach Band (2019)
  • 著者名/発表者名: Ambalathankandy, P., Ou, Y., Kochiyil, J., Takamaeda, S., Motomura, M., Asai, T., and Ikebe, M.
  • 学会等名: 2019 Digital Image Computing: Techniques and Applications (DICTA)
  • 国際学会
• [学会発表] Automatic Radiographic Quantification of Joint Space Narrowing Progression in Rheumatoid Arthritis Using POC (2019)
  • 著者名/発表者名: Ou, Y., Ambalathankandy, P., Shimada, T., Kamishima, T., and Ikebe, M.
  • 学会等名: 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)
  • 国際学会
• [学会発表] 1画素単位で輝度を適切に制御する高速かつグローバル・ローカル適応型画像処理 (2019)
  • 著者名/発表者名: 池辺将之
  • 学会等名: 光と レーザーの科学技術フェア2019
  • 招待講演
• [学会発表] X線画像診断に向けた定量的サブピクセル関節破壊量計測 (2019)
  • 著者名/発表者名: 池辺将之
  • 学会等名: 映像情報メディア学会情報センシング11月研究会（招待講演）
  • 招待講演
• [学会発表] 32×32 画素並列ADC 構成によるグローバルシャッタ型CMOS テラヘルツイメージセンサ (2019)
  • 著者名/発表者名: 池辺将之
  • 学会等名: シンポジウム テラヘルツ科学の最先端Ⅵ
  • 招待講演
• [備考] 東京工業大学AIコンピューティング
  • URL: http://www.artic.iir.titech.ac.jp/wp/
• [備考] 北海道大学アドバンストLSI工学研究グループ
  • URL: http://lalsie.ist.hokudai.ac.jp/jp/
• [備考] 東京大学コンピュータアーキテクチャ・システム研究室
  • URL: https://sites.google.com/view/casys-ja/
• [備考] 北海道大学量子マルチメディアシステム研究室
  • URL: https://www.rciqe.hokudai.ac.jp/education/labo/iqs/