Construction of stochastic superconductor neural networks towards ultra-low-power machine learning
| Project/Area Number |
22H00220
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 21:Electrical and electronic engineering and related fields
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
竹内 尚輝 国立研究開発法人産業技術総合研究所, 量子・AI融合技術ビジネス開発グローバル研究センター, 主任研究員 (00746472)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吉川 信行 横浜国立大学, 先端科学高等研究院, 教授 (70202398)
陳 オリビア 九州大学, システム情報科学研究院, 准教授 (70837856)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥41,470,000 (Direct Cost: ¥31,900,000、Indirect Cost: ¥9,570,000)
Fiscal Year 2024: ¥20,020,000 (Direct Cost: ¥15,400,000、Indirect Cost: ¥4,620,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
|
|---|
| Keywords | AQFP / 磁束量子 / クロスバーアレイ / 超伝導集積回路 / ストカスティックコンピューティング / 低電力 / 確率的動作 / 磁束量子パラメトロン / 断熱回路 / 単一磁束量子 / ニューロモルフィック / 確率動作 / ニューラルネットワーク / 機械学習 |
|---|
| Outline of Research at the Start |
人工知能が中核をなすSociety 5.0の実現には、従来コンピュータに比べて革新的にエネルギー効率の優れた機械学習用ハードウェアの開発が緊要である。そこで本研究は、低エネルギー超伝導集積回路技術をベースに、超伝導ニューロン回路、不揮発性超伝導メモリ、In-memory計算アーキテクチャ、確率的演算手法を融合させて、超低電力ニューラルネットワーク回路の基盤技術の創出を目指す。
|
| Outline of Annual Research Achievements |
本年度は、超伝導ニューラルネットワークを構成する要素回路（ニューロン回路、磁束量子メモリ）の動作テスト行い、要素技術の確立を目指した。【ニューロン回路】断熱磁束量子パラメトロン（AQFP）を用いてニューロン回路を設計及び作製し、低温動作実証を行った。以前のニューロン回路では、要素回路であるシグモイド関数生成器を構成する単一磁束量子（SFQ）回路におけるジュール熱（バイアス抵抗に起因）が比較的大きかった。このため、バイアス抵抗を不要とするdual-rail動作モードをSFQ回路に導入し、シグモイド関数生成器の低電力化、ひいてはゼロ静的電力ニューロン回路の実現に成功した。本回路を液体ヘリウム中で評価し、動作実証に成功した。【磁束量子メモリ】昨年度提案した2つのタイプの確率的磁束量子メモリ（非平衡型、平衡型）を作製し、低温動作実証を行った。いずれのタイプにおいても、蓄えられた磁束量子の数に応じて、読み出し値の確率分布を制御できることを示した。特に平衡型のメモリでは、数値計算結果に近い確率分布が得られることを確認した。【クロスバースイッチ】AQFP回路の電流信号を用いたクロスバースイッチの初期検討を行った。本回路方式では、共通負荷線に複数のAQFP素子が結合することで、積和演算を容易にする。【ニューラルネットワーク構造】クロスバースイッチを用いた超伝導ニューラルネットワークの性能評価技術を開発した。アプリケーション、デバイス、及びアーキテクチャの観点からシミュレーションに必要なパラメータを抽出し、消費エネルギー、遅延時間、面積等を包括的に見積もることが可能となった。【その他】本研究のコア技術であるAQFP回路の高機能化のため、信号変換回路等を検討した。また、今後システム全体の消費エネルギーを議論するため、基本的なAQFP回路の消費エネルギーについて検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定していた検討項目である、（1）ニューロン回路の低温動作実証、（2）磁束量子メモリの低温動作実証、（3）クロスバースイッチの初期検討、（4）超伝導ニューラルネットワークの性能評価は、いずれも順調に進展した。（1）に関しては、Dual-railモードで動作するシグモイド関数生成器及びこれを用いたゼロ静的電力ニューロン回路を実現し、低温動作実証に成功した。なお以前のニューロン回路に比べて、消費電力（5 GHz動作時）は~2 uWから~9 nWまで劇的に低減した（シグモイド関数部分によって消費電力が支配的に決まると仮定）。（2）に関しては、2つのタイプ（平衡型、非平衡型）の確率的磁束量子メモリを作製し、両タイプの低温動作実証に成功した。また、多素子化に向けて両タイプを比較検討し、平衡型は確率分布の制御が容易であり、多素子化に適することが分かった。このため今後は、平衡型のメモリを用いて研究を進める。（3）に関しては、AQFPベースのクロスバースイッチの初期検討を行った。数値計算により、シンプルな構成で積和演算を実行できる可能性を示した。ただし、クロスバースイッチが大きくなるにつれて、各AQFP素子から取り出せる電流信号が小さくなり、大規模化が困難であることが分かった。今後は、より大規模化に適したクロスバースイッチ構造を検討する。（4）に関しては、クロスバースイッチを用いた超伝導ニューラルネットワークの性能評価技術を開発した。これにより、消費エネルギーや遅延時間等の複数の指標から最適なネットワーク構造を議論することが可能となった。
|
| Strategy for Future Research Activity |
要素回路（ニューロン回路、磁束量子メモリ等）の開発が順調に進んだため、今後は本研究のコアとなるクロスバースイッチの検討を中心に進める。また並行して、これまでに開発した要素回路の高速動作テスト、及びネットワーク性能評価技術の改善を行う。【クロスバースイッチ】上述の通り、今年度検討したAQFP回路ベースのクロスバースイッチは、電流信号を用いるため、駆動力が小さく大規模化に適さない。そこで今後は、よりスケーラブルな回路構成を目指して、SFQ回路技術をクロスバースイッチに導入する。SFQ回路は、電圧パルスを用いた長距離信号伝送が可能であるため、大規模なクロスバースイッチにおいても演算及び通信が可能になると考えられる。【要素回路の高速テスト】今年度までに動作実証を行った要素回路（乱数生成器やニューロン回路）は、測定系の簡易化のため、低周波数で動作実証を行った。しかしながら、実際の計算システムでは、各要素回路が~100 MHzから~GHzの高周波数で動作する必要がある。そこで今後は、これまでに開発した要素回路の高速動作テストに取り組む。なお測定系の簡易化のため、周波数スペクトルから等価的に要素回路の出力値を見積もる方法を検討する。【ネットワーク性能評価技術の改善】本年度開発したネットワーク評価技術により、クロスバースイッチ構造の超伝導ニューラルネットワークの性能評価が可能になった。しかしながら、現段階では、本研究で導入予定の確率的演算手法に対応していない。そこで今後は、確率的演算手法に対応したネットワーク性能評価技術の開発を進める。
|
Report
(3 results)
Research Products
(21 results)
