| Project/Area Number |
21K18303
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Pioneering)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
堀尾 喜彦 東北大学, 電気通信研究所, 教授 (60199544)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥25,740,000 (Direct Cost: ¥19,800,000、Indirect Cost: ¥5,940,000)
Fiscal Year 2024: ¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 脳型ハードウェアシステム / リザバーニューラルネットワーク / 自己 / 複雑ダイナミクス / 脳幹ネットワーク / 時空間学習記憶ネットワーク / 高次元複雑ダイナミクス / リザバー計算 / 意識・無意識 / 脳型ハードウェア / 複雑高次元ダイナミクス / 脳幹 |
|---|
| Outline of Research at the Start |
「自分」すなわち、最も原始的な動的原自己を持つハードウェアシステムの構築を目指す。これは、基準となる自身の状態（(A);参照表象）を動的・安定に保持し、入力や環境を把握する（(B);感覚表象）と共に、状況変化に伴う内部状態（(C);現況表象）の参照表象からのずれを抽出・予測・学習する。これらを、脳幹の原自己関連要素に対する知見を用いてモデル化する。さらに、これらの要素を、CMOS半導体プロセスを用いた3次元積層集積回路によるアナログニューラルネットワーク(ANN)と、スピン軌道トルクナノデバイスとCMOSデバイスを併用したハイブリッド・スパイキングNN集積回路として実装する。
|
| Outline of Annual Research Achievements |
時空間列コンテキスト学習記憶ネットワーク(STCLMN)モデルを、連続時間イベント駆動型スパイキングニューラルネットワークへと拡張し、これを微差分方程式として記述した。さらに、アナログ・デジタル混成電子回路として実装するためにこれを拡張したeSTCLMNモデルを提案した。加えて、eSTCLMNモデルを個別部品で回路化し、その特性を測定・評価した。これと並行して、学習性能を、学習後のシナプス重みからではなく、ネットワーク出力のみから評価できる手法として、ハミング距離ヒストグラムと2次元マップ法を提案した。さらに、eSTCLMNモデルの集積回路化を目指して、カオス的スパイク列の生成が可能な2変数スパイキングニューロン回路をRohm 180 nm CMOSプロセスにより実装し、様々なスパイク列発火を観測した。
一方、カオスニューラルネットワークリザバー(CNNR)に関しては、モデル中の不応性項が取りうる範囲を拡張した拡張CNNR(eCNNR)モデルを提案した。さらに、eCNNRモデルのエコーステートプロパティを与える条件式を導出し、eCNNRネットワークの設計を可能とした。次に、eCNNRモデルを時系列の閉ループ予測へ応用し、拡張したパラメータ範囲が有効であり、閉ループ予測でありながら長期の予測が可能であることを示した。また、計算遅延時間に対し指数関数的に減衰するメモリ容量特性が、予測性能の向上の背景にあることを明らかにした。さらに、この結果に基づいて閉ループ予測性能を定量的に評価する指標を提案した。これに加え、出力層のみを拡張カオスニューロンモデルに置き換えたリザバーネットワークも新たに提案し、カオス時系列予測に対して非常に高い性能を示すことを明らかにした。この結果は、少数の出力層ニューロンに指数的履歴を導入することでリザバー全体の性能を改善できることを示した画期的な成果である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度提示の実施方策によれば、今年度は、（１）スパイキング時空間列コンテキスト学習記憶ネットワーク(STCLMN)の発展、（２）カオスニューラルネットワークリザバー(CNNR)のダイナミクスの制御手法の改良、（３）CNNRの改良および集積回路実装と、原自己のプロトタイプハードウェアシステムの構築、（４）3端子スピントロニクス素子モデルの完成、（５）カオス応答を示す2変数スパイキングニューラルネットワークのTSMC 90 nm または 65 nmプロセスによる実装、（６）スパイキングSTCLMNプロトタイプネットワークシステムのハイブリッド回路による実装が目標であった。
（１）についてはSTCLMNを拡張したeSTCLMNモデルを提案した。これに加え、出力のみから学習性能が評価可能な2次元マップ法などを開発した。（２）の制御やダイナミクスについては、新たに拡張CNNRを提案し、閉ループ予測タスクにおいて高い性能を示すことを実証した他、拡張CNNRが独特なメモリ容量特性を持つことを発見し、これが性能向上に貢献していることを明らかにした。（３）では、リザバー層にCNNRを用いることに代えて、出力層にカオスニューロンを導入し、ハードウェアコストを減少させることに加え、時系列予測性能を向上させた。（４）に関しては、デバイス開発元での3端子デバイスの開発に遅延が生じているため、この導入をペンディングとした。（５）では、半導体製造の都合により、プロセスをRohm 180 nm CMOSへと変更したが、様々なスパイク発火パターンに加え、スパイク列の分岐特性も測定評価することができた。（６）は、提案したeSTCLMNモデルの小規模プロトタイプ実装をハイブリッド電子回路により行い、良好な結果を得ている。
以上のように、（４）以外は計画以上に進展し、多くの新たな知見が得られている。
|
| Strategy for Future Research Activity |
最終年度であるR6年度においては、これまで開発した技術を統合することにより、原自己システムの要素をプロトタイプ回路システムとして実装する。そのため、本年度提案した、拡張時空間列コンテキスト学習記憶ネットワークモデルを、2変数スパイキングニューロン回路を核として、イベント駆動型のアナログ・デジタル混成非同期スパイキングニューラルネットワーク回路として実装する。さらに、本年度提案した2種類のリザバーニューラルネットワーク、すなわち、リザバー層のニューロンを拡張した拡張カオスニューラルネットワークリザバーと、出力層のニューロンをカオスニューロンに置き換えたリザバーについて、さらに様々な応用及び解析を行うのに加え、アナログ回路実装に向けたオンライン学習法を提案する。最後に、これらの要素回路を組み合わせたシステムにより、プロトタイプ原自己システムの実装を目指す。なお、3端子スピントロニクスデバイスについては、現在大幅に遅れているデバイス開発元の進捗に合わせ、その導入を再検討する。
|
