2020 Fiscal Year Annual Research Report
Fundamentals and developments of brainmorphic computing hardware
| Project/Area Number |
20H00596
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
堀尾 喜彦 東北大学, 電気通信研究所, 教授 (60199544)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
池口 徹 東京理科大学, 工学部情報工学科, 教授 (30222863)
加藤 秀行 大分大学, 理工学部, 講師 (00733510)
香取 勇一 公立はこだて未来大学, システム情報科学部, 准教授 (20557607)
KURENKOV ALEKSANDR 東北大学, 先端スピントロニクス研究開発センター, 学術研究員 (80830645) [Withdrawn]
佐藤 茂雄 東北大学, 電気通信研究所, 教授 (10282013)
島田 裕 埼玉大学, 理工学研究科, 助教 (50734414)
鈴木 秀幸 大阪大学, 情報科学研究科, 教授 (60334257)
深見 俊輔 東北大学, 電気通信研究所, 教授 (60704492)
藤原 寛太郎 東京大学, ニューロインテリジェンス国際研究機構, 特任准教授 (00557704)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | ブレインモルフィック / 脳型計算 / 脳型情報処理 / ニューロモルフィック / 脳型ハードウェア / 非線形複雑系 / 高次元ダイナミクス / リザバー計算 |
|---|
| Outline of Annual Research Achievements |
ブレインモルフィックコンピューティング(BMC)ハードウェアデバイス・回路基盤構築に関して、ニューロンやシナプスのダイナミクスを模擬するスピントロニクス素子の動作原理を明らかにし、素子内の磁区構造の電流応答を詳細に調べることにより数理モデル構築のための基礎的理解を得た。さらに、共鳴トンネルダイオード(RTD)を利用した自励発振機能を有するニューロン回路の実現に向けて、SiGeヘテロ材料によるRTDデバイスとプロセス設計を行った。また、RTDデバイスによるニューロン回路の構成方法を検討した。
次に、BMCのアーキテクチャ構築に関して、再帰結合を含むネットワークコアの一つの候補としてリザバー計算に注目し、特にカオスニューラルネットワークリザバーのダイナミクスと性能の評価を行った。その結果、内部状態の指数関数的減衰が性能、特に時系列分類性能に大きな影響を及ぼすことを発見した。さらに、リザバー計算と予測符号化に基づく階層的な脳型ネットワークアーキテクチャ、および、リザバー強化学習による行動計画のためのアーキテクチャを構築し解析を進めた。また、リザバー計算のメモリ容量評価手法の調査・解析を行った。
データ解析に関しては、観測されたマーク付点過程データのみから予測精度を推定する手法として，制約付きランダムシャッフルサロゲートデータ法を提案した。また、因果性検定を応用したネットワーク推定手法を提案し、精度よく推定できることを示した。
一方、脳計算原理探求に関して、非線形性を有する短期シナプス可塑性の数理モデル構築および特性解析を行った。さらに、自己組織的に神経雪崩を誘起する神経ネットワークモデルの構築にも取り組んだ。また、脳神経系の発達と学習の数理モデルを構築した。さらには、振動子系の同期・非同期現象や神経伝達物質の違いによる脳波リズムの変遷を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度はCOVID-19の影響を大きく受け、研究グループ全体で集合しての活動はできなかったが、オンラインミーティングを5回開催し、研究者間の連携をはかり研究を遂行した。
まず、ブレインモルフィックコンピューティング(BMC)ハードウェアデバイス・回路基盤構築に関して、スピントロニクスニューロンおよびシナプスデバイスのデバイス数理モデルを開発した。さらに、ニューロンの発火機構を担う共鳴トンネルダイオードデバイスについては、SiGeヘテロエピタキシャル成長によるデバイス製作方法を考案し、ニューロンの自励発振機能に必要な負性抵抗特性の実現に成功した。これらはほぼ当初計画通りの進捗であるものの、回路シミュレータへの導入や、実デバイスによる実験評価が少し遅れている。
次に、BMCのアーキテクチャ構築に関して、そのコアネットワークの候補として、ニューラルネットワークリザバー、特にカオスニューラルネットワークリザバーについて、そのダイナミクスと性能の評価を行い、内部状態の指数関数的減衰の重要性を指摘した。さらに、リザバー計算と予測符号化に基づく階層的ネットワークモデルでは、視覚と聴覚のマルチモーダル情報処理でその有効性を示した。また、リザバー強化学習モデルの基本的な動作を確認した。これらは当初計画より進んでいるが、他のコアネットワーク候補についても探索する必要がある。
データ解析に関しては、脳神経系で観測されるスパイク列(点過程)の新しい解析技法を提案し，その性能を評価し良好な結果を得た。一方、脳計算原理探求に関して、脳神経系の発達と学習の数理モデルを構築し、発達過程で起こりうる同期・非同期発火現象の理論解析を行うと共に、学習、特に競合による刈込との関係などを明らかにした。これらの成果は、当初計画を先取りして進んでいるが、今後BMCアーキテクチャへの還元が課題となる。
|
| Strategy for Future Research Activity |
デバイス・回路基盤の構築においては、これまでに開発したニューロン・シナプススピントロニクス素子の数理モデルのパラメータを、実デバイス実験により求める。さらにこれを回路シミュレータであるSPICE中に導入する。次に、これらを用いて、STDP学習を行うスピントロニクスニューラルネットワークを設計し、シミュレーションによりその動作を確認する。一方、これらと並行して、共鳴トンネルダイオード(RTD)を応用した発火機構デバイスを実装し、実験によりその評価を行うと共に、RTDの数理モデルを開発し、スピントロニクス素子の数理モデルと融合する。
ネットワークコアとしてのリザバーニューラルネットワークについては、そのダイナミクスと性能の関係や、グローバルな制御方法、さらには高性能なリザバーニューラルネットワークの設計指針などについて更なる検討をすると共に、これを複数結合した双方向階層型マルチリザバーネットワークについても検討を開始する。また、これらを用いて自己組織化可能なネットワークコアをハードウェア化するために、階層型リザバーニューラルネットワーク回路の構成法を提案する。さらに、これらと並行して、特に高次元ダイナミクスを活用した参照自己神経回路網の基本構成について検討する。
点過程の新しいデータ解析手法として提案した制約付きランダムシャッフルサロゲート法を拡張し、カオスを含むより複雑なスパイク列の解析を可能とすると共に、様々な非線形時系列解析手法をスパイク列の解析に拡張し、上記で提案するニューラルネットワークの解析および設計に応用する。
一方、脳神経系、特に短期シナプス可塑性や神経雪崩のシミュレーションにより、ターゲットとするネットワークコアの相互結合手法や、総合的な学習法を検討し、アーキテクチャの研究に還元する。
|
Research Products
(92 results)
-
-
-
-
-
-
-
[Journal Article] Multidomain Memristive Switching of Pt38Mn62/[Co/Ni]n Multilayers2020
Author(s)
G. K. Krishnaswamy, A. Kurenkov, G. Sala, M. Baumgartner, V. Krizakova, C. Nistor, F. Maccherozzi, S. S. Dhesi, S. Fukami, H. Ohno, and P. Gambardella
-
Journal Title
Physical Review Applied
Volume: 14
Pages: 044036(1)-(10)
DOI
Peer Reviewed / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Multi-domain memristive magnetization switching in [Co/Ni]x/PtMn heterostructures2021
Author(s)
G. K. Krishnaswamy, A. Kurenkov, G. Sala, M. Baumgartner, V. Krizakova, C. Nistor, F. Maccherozzi, S. Dhesi, S. Fukami, H. Ohno, and P. Gambardella
Organizer
APS March Meeting 2021
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
