Construction of stochastic superconductor neural networks towards ultra-low-power machine learning
| Project/Area Number |
22H00220
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 21:Electrical and electronic engineering and related fields
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
竹内 尚輝 国立研究開発法人産業技術総合研究所, 量子・AI融合技術ビジネス開発グローバル研究センター, 主任研究員 (00746472)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吉川 信行 横浜国立大学, 先端科学高等研究院, 教授 (70202398)
陳 オリビア 九州大学, システム情報科学研究院, 准教授 (70837856)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥41,470,000 (Direct Cost: ¥31,900,000、Indirect Cost: ¥9,570,000)
Fiscal Year 2024: ¥20,020,000 (Direct Cost: ¥15,400,000、Indirect Cost: ¥4,620,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
|
|---|
| Keywords | AQFP / 磁束量子 / クロスバーアレイ / 超伝導集積回路 / 確率的動作 / 磁束量子パラメトロン / 断熱回路 / 単一磁束量子 / ニューロモルフィック / 確率動作 / ニューラルネットワーク / 機械学習 |
|---|
| Outline of Research at the Start |
人工知能が中核をなすSociety 5.0の実現には、従来コンピュータに比べて革新的にエネルギー効率の優れた機械学習用ハードウェアの開発が緊要である。そこで本研究は、低エネルギー超伝導集積回路技術をベースに、超伝導ニューロン回路、不揮発性超伝導メモリ、In-memory計算アーキテクチャ、確率的演算手法を融合させて、超低電力ニューラルネットワーク回路の基盤技術の創出を目指す。
|
| Outline of Annual Research Achievements |
本年度は、確率的超伝導ニューラルネットワークを構成する要素回路の基礎検討を行った。【ニューロン回路】断熱磁束量子パラメトロン（AQFP）ベースの積和演算器およびシグモイド関数生成器により構成された超伝導ニューロン回路を提案し、数値解析により5 GHzの高速クロック周波数で動作することを示した。また、3層のニュラルネットワークを構成した際の消費エネルギーの見積もりを行い、10-100TOPS/Wの高いエネルギー効率で動作することを示した。なお、Stochastic computingの導入により、積和演算器はANDゲート等の基本素子により構成された。またシグモイド関数生成器は、AQFPと単一磁束量子（SFQ）回路を組み合わせることで、シンプルな回路構成でシグモイド関数を生成する。以上の設計指針により、低電力化なニューロン回路を実現した。【磁束量子メモリ】磁束保持ループとAQFP回路を組み合わせた確率的磁束量子メモリを提案し、数値解析による動作検証を行った。保持ループ中の磁束量子の数によりAQFPの出力信号の確率分布が制御され、所望のStochastic数を出力できることを確認した。また、バイアス抵抗によるジュール熱を排除するため、磁束バイアスにより動作する磁束保持ループを検討した。【ネットワーク構造の検討】ニューラルネットワークモデルから回路シミュレーションまでを繋ぐ、ヒエラルキー型のシミュレーション技術を検討した。また、システムの大規模化に向けて、超伝導ニューラルネットワークをタイル状に並べて集積度と演算性能を高めたアーキテクチャを検討した。【その他】本研究のコア技術であるAQFP回路のさらなる高機能化のため、低遅延クロック技術等を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定していた検討項目である、（1）数値計算によるニューロン回路の動作検証、（2）磁束量子メモリの設計、（3）AQFP回路に適したネットワークの検討は、いずれも順調に進展した。（1）に関しては、本研究チームの独自技術であるAQFP/SFQハイブリッド化技術を応用することで、極めてシンプルな回路構成でシグモイド関数を実装することができた。これにより、低電力なニューロン回路の実現に成功した。ただし、現状ではSFQ部分の消費電力がAQFP部分に比べて大きいため、今後はSFQ部分のさらなる低電力化を検討する。（2）に関しては、2つの方式の確率的磁束量子メモリを提案および検討した。1つは、AQFPの動的な（熱力学的に非平衡的な）確率分布を制御する方式であり、もう1つはAQFPの静的な（熱平衡的な）確率分布を制御する方式である。共に磁束量子の数に応じて出力確率分布を制御することができるが、前者の方式では確率分布の動作周波数依存性が高いことが分かった。これは動作実証の際に弊害となるため、今後は後者の方式を中心に検討する。（3）に関しては、システムの大規模化に向けてシミュレーション技術やアーキテクチャを検討した。今後は、ニューロン回路および確率的磁束量子メモリの仕様を反映し、システムレベルでのシミュレーションおよびアーキテクチャ検討を進める。
|
| Strategy for Future Research Activity |
今後は、これまでに提案した要素回路（ニューロン回路、磁束量子メモリ）の動作テストを行い、超伝導ニューラルネットワークの開発に必要な要素技術の確立を目指す。【ニューロン回路】これまでに、AQFPベースの積和演算器およびシグモイド関数生成器により構成された超伝導ニューロン回路を提案し、数値解析により動作検証を行った。今後は、ニオブ集積回路プロセスを用いて超伝導ニューロン回路を作製し、液体ヘリウム中で動作テストを行う。また、超伝導ニューロン回路のさらなる低電力化に向けて、SFQ部分のバイアス抵抗によるジュール熱を抑制した低電力シグモイド関数生成器の検討を行う。【磁束量子メモリ】これまでに、磁束保持ループとAQFP回路を組み合わせた確率的磁束量子メモリを提案し、数値解析による動作検証を行った。今後は、ニオブ集積回路プロセスにより作製された確率的磁束量子メモリの動作テストを行う。【クロスバースイッチ】超伝導ニューラルネットワークの要素回路が確立されつつあるため、計画を早めてクロスバースイッチの初期検討を行う。最もシンプルなAQFP電流信号をベースにしたクロスバースイッチを検討し、本回路方式の課題の洗い出しを行う。【ニューラルネットワーク構造】これまでに、ニューラルネットワークモデルから回路シミュレーションまでを繋ぐ、ヒエラルキー型のシミュレーション技術を検討した。今後は本技術を用いて、これまでに開発した要素回路により構成される超伝導ニューラルネットワークの性能評価を行う。
|
Report
(2 results)
Research Products
(13 results)
