| Project/Area Number |
23K11256
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山口 裕 福岡工業大学, 情報工学部, 助教 (80507236)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
奈良 重俊 岡山大学, 環境生命自然科学研究科, 特命教授 (60231495)
津田 一郎 中部大学, 創発学術院, 教授 (10207384)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 機能分化 / リカレントニューラルネットワーク / 相互情報量 / アトラクタ / カオス / 深層学習 / 情報統合 |
|---|
| Outline of Research at the Start |
脳は多様な情報をその種類や学習の仕方に応じてそれぞれ局所的な領域で分散的に処理するとともに，それらの情報を相互に関連づけ統合して判断を行っている．数理モデルを用いて，この機能分化と情報統合に関する普遍的な原理を発見し，その原理を機械学習課題に応用することを本研究では目指す．情報の流れの最適化という拘束条件に基づいた機能分化と情報の統合を実現する脳型ネットワークを構築する手法の探求を目的とする．
|
| Outline of Annual Research Achievements |
脳内の情報流の最適化は脳型情報処理の基本原理のひとつと考えられる点に着目し，ニューラルネットワークにおける内部状態間の相互情報量の最大化/最小化を勾配降下法により敵対的に行う手法を発展させ， 情報の流れの最適化という拘束条件に基づいた機能分化と情報の統合を実現する脳型ネットワークを構築するアルゴリズムの実現が本研究の目的である．
本年度はRNN系においてニューロンのサブグループの状態間の相互情報量をニューラルネットワークにより推定し，その最小化を勾配降下法を用いて行う実験を試みた．タスクとして，複数のカオス信号が重ね合わされた入力から，各個別の信号を分離復元するタスクを与え，グループ間相互情報量を最小化させながら学習を行った．その結果，RNNモデルはタスクを学習できたが，このとき各サブグループは個別のカオス信号を出力することに特化することが明らかになった．この機能分化の様相を，ニューロン間の相関やニューロンと出力の相関などの動的な側面，及びニューロン間の結合やニューロン-出力間の結合などの静的，解剖学的側面から分析し，それらの構造の分化の程度に差があることを発見した．これらの結果は学会発表等で発表しており，査読付き論文にまとめる予定である．
また，RNNに複数のタイムスケールのダイナミクスを学習させ，入力に応じて切り替える実験や，深層学習モデルによって生成されたカオス信号の統計的性質を調べ深層モデルの中で伝搬される情報に着目した分析を行った．これは今後，タスクに応じて適応的モジュール切り替えるネットワークを実現する実験やカオス信号の特定の情報がネットワークのどの部位で処理されているかを知る研究の基礎となる結果である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機能分化・統合を目的とした研究計画の中で，第一の目標としていた機能分化するネットワークの研究が進展したため，おおむね順調に進展していると考えられる．
|
| Strategy for Future Research Activity |
機能分化のアルゴリズムを改良し，内在的ダイナミクスを利用して高速・安定に機能分化を実現するアルゴリズムの開発を行い，安定的で幅広いタスクに対して用いることができるように改良を行う．
また情報統合を行うサブネットワークを実現する学習則を，相互情報量学習を発展させることで開発する．
これらのアルゴリズムと自由エネルギー原理などとの関連を意識しながら手法を拡張，発展させる．
動的なモジュール切り替えを支援する学習則を．タイムスケールの切り替えに着目し構築する．
|
