2023 Fiscal Year Research-status Report
Realization of functional differentiation and information integration through optimization of information flow
| Project/Area Number |
23K11256
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山口 裕 福岡工業大学, 情報工学部, 助教 (80507236)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
奈良 重俊 岡山大学, 環境生命自然科学研究科, 特命教授 (60231495)
津田 一郎 中部大学, 創発学術院, 教授 (10207384)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 機能分化 / リカレントニューラルネットワーク / 相互情報量 / アトラクタ / カオス |
|---|
| Outline of Annual Research Achievements |
脳内の情報流の最適化は脳型情報処理の基本原理のひとつと考えられる点に着目し，ニューラルネットワークにおける内部状態間の相互情報量の最大化/最小化を勾配降下法により敵対的に行う手法を発展させ， 情報の流れの最適化という拘束条件に基づいた機能分化と情報の統合を実現する脳型ネットワークを構築するアルゴリズムの実現が本研究の目的である．
本年度はRNN系においてニューロンのサブグループの状態間の相互情報量をニューラルネットワークにより推定し，その最小化を勾配降下法を用いて行う実験を試みた．タスクとして，複数のカオス信号が重ね合わされた入力から，各個別の信号を分離復元するタスクを与え，グループ間相互情報量を最小化させながら学習を行った．その結果，RNNモデルはタスクを学習できたが，このとき各サブグループは個別のカオス信号を出力することに特化することが明らかになった．この機能分化の様相を，ニューロン間の相関やニューロンと出力の相関などの動的な側面，及びニューロン間の結合やニューロン-出力間の結合などの静的，解剖学的側面から分析し，それらの構造の分化の程度に差があることを発見した．これらの結果は学会発表等で発表しており，査読付き論文にまとめる予定である．
また，RNNに複数のタイムスケールのダイナミクスを学習させ，入力に応じて切り替える実験や，深層学習モデルによって生成されたカオス信号の統計的性質を調べ深層モデルの中で伝搬される情報に着目した分析を行った．これは今後，タスクに応じて適応的モジュール切り替えるネットワークを実現する実験やカオス信号の特定の情報がネットワークのどの部位で処理されているかを知る研究の基礎となる結果である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機能分化・統合を目的とした研究計画の中で，第一の目標としていた機能分化するネットワークの研究が進展したため，おおむね順調に進展していると考えられる．
|
| Strategy for Future Research Activity |
機能分化のアルゴリズムを改良し，内在的ダイナミクスを利用して高速・安定に機能分化を実現するアルゴリズムの開発を行い，安定的で幅広いタスクに対して用いることができるように改良を行う．
また情報統合を行うサブネットワークを実現する学習則を，相互情報量学習を発展させることで開発する．
これらのアルゴリズムと自由エネルギー原理などとの関連を意識しながら手法を拡張，発展させる．
動的なモジュール切り替えを支援する学習則を．タイムスケールの切り替えに着目し構築する．
|
| Causes of Carryover |
学内の研究費などで旅費や計算用サーバーの購入が行えたため，主に代表者の資金に未使用が生じた．研究者間の打ち合わせは学会や研究代表者の機関で行ったことも要因である．計算機による計算実験や学会出張は順調に行えており，研究の進展に支障は無い．
２年目には追加の計算機の購入やオープンアクセス雑誌への掲載料支払いなどに未使用額を当てる計画である．
|
