| 研究課題/領域番号 |
20J12815
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
井上 克馬 (2020) 東京大学, 情報理工学系研究科, 特別研究員(DC2)
|
|---|
| 特別研究員 |
井上 克馬 (2021) 東京大学, 情報理工学系研究科, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2020-04-24 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
2,100千円 (直接経費: 2,100千円)
2021年度: 1,000千円 (直接経費: 1,000千円)
2020年度: 1,100千円 (直接経費: 1,100千円)
|
|---|
| キーワード | リザバー計算 / 物理リザバー計算 / ニューロモーフィックデバイス / 非線形力学系 / リカレントニューラルネットワーク / 深層学習 / 機械学習 |
|---|
| 研究開始時の研究の概要 |
本研究では深層学習の学習過程ダイナミクスを力学系上に構成する汎用的なアルゴリズムを開発し、学習機能を構成する際に要求される普遍的な力学系的制約条件を明らかにする。また得られた知見と物理レザバー計算(physical reservoir computing)の手法に基づき、神経系やそれを模したニューロモーフィックチップといった専用の計算媒体のみならず、より広い範囲の物理系上に学習機能を実装し評価を行う。
|
| 研究実績の概要 |
本研究では、深層学習の学習過程をダイナミクスとしてとらえ、学習過程がそのダイナミクスの上で表現された高次元非線形力学系の汎用的な設計論の構築を目指した。その上で得られた非線形力学系の特性を解析し、学習機能の背後に通底する普遍的な制約条件の解明を目指した。本年度は昨年度に引き続き、学習過程が埋め込まれた高次元非線形力学系の実装に取り組んだ。その結果、昨年度より複雑な学習アルゴリズムの設定において、教師あり学習の過程を非線形力学系の一種であるリカレントニューラルネットワークのダイナミクスの上で実現することに成功した。特に得られた非線形力学系では学習対象の生成・決定機構が内在化され、被学習部・学習部の分離構成が克服された自己充足的な構成が実現されている。これにより高次元ダイナミクスが持つ潜在的な情報処理能力が最大限引き出すことが可能になり、既存の教師あり学習の枠組みそのものを大きく拡張しうる結果が得られたといえる。
また並行して、自然言語処理に特化した最先端の深層学習モデルであるBERTが、その再帰的構造から高次元非線形力学系であるとみなせることに着目し、学習済みのBERTがその過渡ダイナミクスのみにおいてカオス性を示す過渡カオス現象を生じることを解析結果により示した[K. Inoue, et. al., Physical Review Research, 2022]。本解析結果は自然言語タスクへの特化の過程でカオス性がモデルに導入されたことを意味すると同時に、自然言語におけるカオス性の重要性を示唆しており、脳活動において広く観察されるカオス現象の情報処理の新たな側面に光を当てている。
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
