• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Construction of stochastic superconductor neural networks towards ultra-low-power machine learning

Research Project

Project/Area Number 22H00220
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 21:Electrical and electronic engineering and related fields
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

竹内 尚輝  国立研究開発法人産業技術総合研究所, 量子・AI融合技術ビジネス開発グローバル研究センター, 主任研究員 (00746472)

Co-Investigator(Kenkyū-buntansha) 吉川 信行  横浜国立大学, 先端科学高等研究院, 教授 (70202398)
陳 オリビア  九州大学, システム情報科学研究院, 准教授 (70837856)
Project Period (FY) 2022-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥41,470,000 (Direct Cost: ¥31,900,000、Indirect Cost: ¥9,570,000)
Fiscal Year 2025: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2024: ¥20,020,000 (Direct Cost: ¥15,400,000、Indirect Cost: ¥4,620,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
KeywordsAQFP / 磁束量子 / クロスバーアレイ / 超伝導集積回路 / ストカスティックコンピューティング / 低電力 / 確率的動作 / 磁束量子パラメトロン / 断熱回路 / 単一磁束量子 / ニューロモルフィック / 確率動作 / ニューラルネットワーク / 機械学習
Outline of Research at the Start

人工知能が中核をなすSociety 5.0の実現には、従来コンピュータに比べて革新的にエネルギー効率の優れた機械学習用ハードウェアの開発が緊要である。そこで本研究は、低エネルギー超伝導集積回路技術をベースに、超伝導ニューロン回路、不揮発性超伝導メモリ、In-memory計算アーキテクチャ、確率的演算手法を融合させて、超低電力ニューラルネットワーク回路の基盤技術の創出を目指す。

Outline of Annual Research Achievements

本年度は、超伝導ニューラルネットワークを構成する要素回路(ニューロン回路、磁束量子メモリ)の動作テスト行い、要素技術の確立を目指した。【ニューロン回路】断熱磁束量子パラメトロン(AQFP)を用いてニューロン回路を設計及び作製し、低温動作実証を行った。以前のニューロン回路では、要素回路であるシグモイド関数生成器を構成する単一磁束量子(SFQ)回路におけるジュール熱(バイアス抵抗に起因)が比較的大きかった。このため、バイアス抵抗を不要とするdual-rail動作モードをSFQ回路に導入し、シグモイド関数生成器の低電力化、ひいてはゼロ静的電力ニューロン回路の実現に成功した。本回路を液体ヘリウム中で評価し、動作実証に成功した。【磁束量子メモリ】昨年度提案した2つのタイプの確率的磁束量子メモリ(非平衡型、平衡型)を作製し、低温動作実証を行った。いずれのタイプにおいても、蓄えられた磁束量子の数に応じて、読み出し値の確率分布を制御できることを示した。特に平衡型のメモリでは、数値計算結果に近い確率分布が得られることを確認した。【クロスバースイッチ】AQFP回路の電流信号を用いたクロスバースイッチの初期検討を行った。本回路方式では、共通負荷線に複数のAQFP素子が結合することで、積和演算を容易にする。【ニューラルネットワーク構造】クロスバースイッチを用いた超伝導ニューラルネットワークの性能評価技術を開発した。アプリケーション、デバイス、及びアーキテクチャの観点からシミュレーションに必要なパラメータを抽出し、消費エネルギー、遅延時間、面積等を包括的に見積もることが可能となった。【その他】本研究のコア技術であるAQFP回路の高機能化のため、信号変換回路等を検討した。また、今後システム全体の消費エネルギーを議論するため、基本的なAQFP回路の消費エネルギーについて検討した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

予定していた検討項目である、(1)ニューロン回路の低温動作実証、(2)磁束量子メモリの低温動作実証、(3)クロスバースイッチの初期検討、(4)超伝導ニューラルネットワークの性能評価は、いずれも順調に進展した。(1)に関しては、Dual-railモードで動作するシグモイド関数生成器及びこれを用いたゼロ静的電力ニューロン回路を実現し、低温動作実証に成功した。なお以前のニューロン回路に比べて、消費電力(5 GHz動作時)は~2 uWから~9 nWまで劇的に低減した(シグモイド関数部分によって消費電力が支配的に決まると仮定)。(2)に関しては、2つのタイプ(平衡型、非平衡型)の確率的磁束量子メモリを作製し、両タイプの低温動作実証に成功した。また、多素子化に向けて両タイプを比較検討し、平衡型は確率分布の制御が容易であり、多素子化に適することが分かった。このため今後は、平衡型のメモリを用いて研究を進める。(3)に関しては、AQFPベースのクロスバースイッチの初期検討を行った。数値計算により、シンプルな構成で積和演算を実行できる可能性を示した。ただし、クロスバースイッチが大きくなるにつれて、各AQFP素子から取り出せる電流信号が小さくなり、大規模化が困難であることが分かった。今後は、より大規模化に適したクロスバースイッチ構造を検討する。(4)に関しては、クロスバースイッチを用いた超伝導ニューラルネットワークの性能評価技術を開発した。これにより、消費エネルギーや遅延時間等の複数の指標から最適なネットワーク構造を議論することが可能となった。

Strategy for Future Research Activity

要素回路(ニューロン回路、磁束量子メモリ等)の開発が順調に進んだため、今後は本研究のコアとなるクロスバースイッチの検討を中心に進める。また並行して、これまでに開発した要素回路の高速動作テスト、及びネットワーク性能評価技術の改善を行う。【クロスバースイッチ】上述の通り、今年度検討したAQFP回路ベースのクロスバースイッチは、電流信号を用いるため、駆動力が小さく大規模化に適さない。そこで今後は、よりスケーラブルな回路構成を目指して、SFQ回路技術をクロスバースイッチに導入する。SFQ回路は、電圧パルスを用いた長距離信号伝送が可能であるため、大規模なクロスバースイッチにおいても演算及び通信が可能になると考えられる。【要素回路の高速テスト】今年度までに動作実証を行った要素回路(乱数生成器やニューロン回路)は、測定系の簡易化のため、低周波数で動作実証を行った。しかしながら、実際の計算システムでは、各要素回路が~100 MHzから~GHzの高周波数で動作する必要がある。そこで今後は、これまでに開発した要素回路の高速動作テストに取り組む。なお測定系の簡易化のため、周波数スペクトルから等価的に要素回路の出力値を見積もる方法を検討する。【ネットワーク性能評価技術の改善】本年度開発したネットワーク評価技術により、クロスバースイッチ構造の超伝導ニューラルネットワークの性能評価が可能になった。しかしながら、現段階では、本研究で導入予定の確率的演算手法に対応していない。そこで今後は、確率的演算手法に対応したネットワーク性能評価技術の開発を進める。

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Comments on the Screening Results   Annual Research Report
  • Research Products

    (21 results)

All 2024 2023 2022

All Journal Article (6 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 6 results,  Open Access: 2 results) Presentation (15 results) (of which Int'l Joint Research: 10 results,  Invited: 1 results)

  • [Journal Article] Minimum energy dissipation required for information processing using adiabatic quantum-flux-parametron circuits2024

    • Author(s)
      Yamae Taiki、Takeuchi Naoki、Yoshikawa Nobuyuki
    • Journal Title

      Journal of Applied Physics

      Volume: 135 Issue: 6 Pages: 063902-063902

    • DOI

      10.1063/5.0187756

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Sigmoid function generator using stochastic adiabatic superconductor logic2023

    • Author(s)
      Luo Wenhui、Chen Olivia、Yoshikawa Nobuyuki、Takeuchi Naoki
    • Journal Title

      Applied Physics Letters

      Volume: 122 Issue: 24 Pages: 242602-242602

    • DOI

      10.1063/5.0154712

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] An Adiabatic Quantum-Flux-Parametron 8-bit Ripple Carry Adder Using Delay-Line Clocking2023

    • Author(s)
      Yamae Taiki、Takeuchi Naoki、Yoshikawa Nobuyuki
    • Journal Title

      IEEE Transactions on Applied Superconductivity

      Volume: 33 Issue: 5 Pages: 1300704-1300704

    • DOI

      10.1109/tasc.2023.3239833

    • Related Report
      2023 Annual Research Report 2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Self-Resetting Interface Between Rapid Single-Flux-Quantum and Adiabatic Quantum-Flux-Parametron Circuits2023

    • Author(s)
      Naruse Mikiya、Yoshikawa Nobuyuki、Takeuchi Naoki
    • Journal Title

      IEEE Transactions on Applied Superconductivity

      Volume: 33 Issue: 8 Pages: 1304704-1304704

    • DOI

      10.1109/tasc.2023.3299153

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Low-Latency Adiabatic Quantum-Flux-Parametron Circuit Integrated With a Hybrid Serializer/Deserializer2022

    • Author(s)
      Hironaka Yuki、Yamae Taiki、Ayala Christopher L.、Yoshikawa Nobuyuki、Takeuchi Naoki
    • Journal Title

      IEEE Access

      Volume: 10 Pages: 133584-133590

    • DOI

      10.1109/access.2022.3230447

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Scalable true random number generator using adiabatic superconductor logic2022

    • Author(s)
      Luo Wenhui、Chen Olivia、Yoshikawa Nobuyuki、Takeuchi Naoki
    • Journal Title

      Scientific Reports

      Volume: 12 Issue: 1 Pages: 1-10

    • DOI

      10.1038/s41598-022-24230-5

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 確率的演算に基づく断熱超伝導ニューロン回路の開発2024

    • Author(s)
      羅 文輝, 竹内 尚輝, 陳 オリビア, 吉川 信行
    • Organizer
      2024年電子情報通信学会総合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Demonstration of a stochastic memory for stochastic computing-based AQFP circuit2023

    • Author(s)
      W. Luo, N. Takeuchi, O. Chen, and N. Yoshikawa
    • Organizer
      16th European Conference on Applied Superconductivity (EUCAS 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Recent Research on AQFP-Based Accelerator Design2023

    • Author(s)
      O. Chen, N. Takeuchi, R. Zhang, Y. Wang, and N. Yoshikawa
    • Organizer
      36th International Symposium on Superconductivity (ISS 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 大規模確率的演算システムに向けた超伝導ストカスティックメモリの設計2023

    • Author(s)
      羅 文輝, 竹内 尚輝, 陳 オリビア, 吉川 信行
    • Organizer
      電子情報通信学会超伝導エレクトロニクス研究会SCE2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] ゼロ静的消費電力で動作するシグモイド関数生成器の開発2023

    • Author(s)
      羅 文輝, 竹内 尚輝, 陳 オリビア, 吉川 信行
    • Organizer
      2023年電子情報通信学会ソサイエティ大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Demonstration of a Superconducting Stochastic Memory for Stochastic Computing Systems2023

    • Author(s)
      W. Luo, N. Takeuchi, O. Chen, and N. Yoshikawa
    • Organizer
      11th East Asia Symposium on Superconductive Electronics (EASSE 2023)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 熱平衡型超伝導ストカスティックメモリの提案2023

    • Author(s)
      羅 文輝, 竹内 尚輝, 陳 オリビア, 吉川 信行
    • Organizer
      2023年電子情報通信学会総合大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] A sigmoid function generator using stochastic computing-based adiabatic quantum-flux-parametron logic2022

    • Author(s)
      W. Luo, N. Takeuchi, O. Chen, and N. Yoshikawa
    • Organizer
      Applied Superconductivity Conference 2022 (ASC 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Design and evaluation of a self-resetting RSFQ/AQFP interface2022

    • Author(s)
      M. Naruse, N. Takeuchi, and N. Yoshikawa
    • Organizer
      Applied Superconductivity Conference 2022 (ASC 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] An adiabatic quantum-flux-parametron 8-bit ripple carry adder using delay-line clocking2022

    • Author(s)
      T. Yamae, N. Takeuchi, and N. Yoshikawa
    • Organizer
      Applied Superconductivity Conference 2022 (ASC 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Compact RSFQ/AQFP Interface with a Self-Resetting Storage Loop2022

    • Author(s)
      M. Naruse, N. Takeuchi, and N. Yoshikawa
    • Organizer
      15th Superconducting SFQ VLSI Workshop (SSV 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Sigmoid Function Generator Based on Stochastic Computing Using Superconducting Circuits2022

    • Author(s)
      W. Luo, N. Takeuchi, O. Chen, and N. Yoshikawa
    • Organizer
      15th Superconducting SFQ VLSI Workshop (SSV 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 磁束ストレージループを用いたストカスティックメモリの動作実証2022

    • Author(s)
      羅 文輝, 竹内 尚輝, 陳 オリビア, 吉川 信行
    • Organizer
      第83回応用物理学会秋季学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Non-Linear Function Generator Using Stochastic Superconductive Circuits2022

    • Author(s)
      O. Chen, R. Zhang, W. Luo, N. Takeuchi, and N. Yoshikawa
    • Organizer
      Applied Superconductivity Conference 2022 (ASC 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Design of Arithmetic Function Generator Using Adiabatic Quantum-Flux-Parametron Technology2022

    • Author(s)
      O. Chen, R. Zhang, W. Luo, N. Takeuchi, and N. Yoshikawa
    • Organizer
      15th Superconducting SFQ VLSI Workshop (SSV 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2022-04-19   Modified: 2025-04-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi