| Project/Area Number |
20J12815
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
井上 克馬 (2020) 東京大学, 情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Research Fellow |
井上 克馬 (2021) 東京大学, 情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥2,100,000 (Direct Cost: ¥2,100,000)
Fiscal Year 2021: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2020: ¥1,100,000 (Direct Cost: ¥1,100,000)
|
|---|
| Keywords | リザバー計算 / 物理リザバー計算 / ニューロモーフィックデバイス / 非線形力学系 / リカレントニューラルネットワーク / 深層学習 / 機械学習 |
|---|
| Outline of Research at the Start |
本研究では深層学習の学習過程ダイナミクスを力学系上に構成する汎用的なアルゴリズムを開発し、学習機能を構成する際に要求される普遍的な力学系的制約条件を明らかにする。また得られた知見と物理レザバー計算(physical reservoir computing)の手法に基づき、神経系やそれを模したニューロモーフィックチップといった専用の計算媒体のみならず、より広い範囲の物理系上に学習機能を実装し評価を行う。
|
| Outline of Annual Research Achievements |
本研究では、深層学習の学習過程をダイナミクスとしてとらえ、学習過程がそのダイナミクスの上で表現された高次元非線形力学系の汎用的な設計論の構築を目指した。その上で得られた非線形力学系の特性を解析し、学習機能の背後に通底する普遍的な制約条件の解明を目指した。本年度は昨年度に引き続き、学習過程が埋め込まれた高次元非線形力学系の実装に取り組んだ。その結果、昨年度より複雑な学習アルゴリズムの設定において、教師あり学習の過程を非線形力学系の一種であるリカレントニューラルネットワークのダイナミクスの上で実現することに成功した。特に得られた非線形力学系では学習対象の生成・決定機構が内在化され、被学習部・学習部の分離構成が克服された自己充足的な構成が実現されている。これにより高次元ダイナミクスが持つ潜在的な情報処理能力が最大限引き出すことが可能になり、既存の教師あり学習の枠組みそのものを大きく拡張しうる結果が得られたといえる。
また並行して、自然言語処理に特化した最先端の深層学習モデルであるBERTが、その再帰的構造から高次元非線形力学系であるとみなせることに着目し、学習済みのBERTがその過渡ダイナミクスのみにおいてカオス性を示す過渡カオス現象を生じることを解析結果により示した[K. Inoue, et. al., Physical Review Research, 2022]。本解析結果は自然言語タスクへの特化の過程でカオス性がモデルに導入されたことを意味すると同時に、自然言語におけるカオス性の重要性を示唆しており、脳活動において広く観察されるカオス現象の情報処理の新たな側面に光を当てている。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
