| 研究実績の概要 |
本研究では、深層学習の学習過程をダイナミクスとしてとらえ、学習過程がそのダイナミクスの上で表現された高次元非線形力学系の汎用的な設計論の構築を目指した。その上で得られた非線形力学系の特性を解析し、学習機能の背後に通底する普遍的な制約条件の解明を目指した。本年度は昨年度に引き続き、学習過程が埋め込まれた高次元非線形力学系の実装に取り組んだ。その結果、昨年度より複雑な学習アルゴリズムの設定において、教師あり学習の過程を非線形力学系の一種であるリカレントニューラルネットワークのダイナミクスの上で実現することに成功した。特に得られた非線形力学系では学習対象の生成・決定機構が内在化され、被学習部・学習部の分離構成が克服された自己充足的な構成が実現されている。これにより高次元ダイナミクスが持つ潜在的な情報処理能力が最大限引き出すことが可能になり、既存の教師あり学習の枠組みそのものを大きく拡張しうる結果が得られたといえる。
また並行して、自然言語処理に特化した最先端の深層学習モデルであるBERTが、その再帰的構造から高次元非線形力学系であるとみなせることに着目し、学習済みのBERTがその過渡ダイナミクスのみにおいてカオス性を示す過渡カオス現象を生じることを解析結果により示した[K. Inoue, et. al., Physical Review Research, 2022]。本解析結果は自然言語タスクへの特化の過程でカオス性がモデルに導入されたことを意味すると同時に、自然言語におけるカオス性の重要性を示唆しており、脳活動において広く観察されるカオス現象の情報処理の新たな側面に光を当てている。
|
