| 研究課題/領域番号 |
23K11256
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 福岡工業大学 |
|---|
研究代表者 |
山口 裕 福岡工業大学, 情報工学部, 助教 (80507236)
|
|---|
| 研究分担者 |
奈良 重俊 岡山大学, 環境生命自然科学研究科, 特命教授 (60231495)
津田 一郎 中部大学, 創発学術院, 教授 (10207384)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2023年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
|
|---|
| キーワード | 機能分化 / リカレントニューラルネットワーク / 相互情報量 / アトラクタ / カオス / 深層学習 / 情報統合 |
|---|
| 研究開始時の研究の概要 |
脳は多様な情報をその種類や学習の仕方に応じてそれぞれ局所的な領域で分散的に処理するとともに，それらの情報を相互に関連づけ統合して判断を行っている．数理モデルを用いて，この機能分化と情報統合に関する普遍的な原理を発見し，その原理を機械学習課題に応用することを本研究では目指す．情報の流れの最適化という拘束条件に基づいた機能分化と情報の統合を実現する脳型ネットワークを構築する手法の探求を目的とする．
|
| 研究実績の概要 |
脳内の情報流の最適化は脳型情報処理の基本原理のひとつと考えられる点に着目し，ニューラルネットワークにおける内部状態間の相互情報量の最大化/最小化を勾配降下法により敵対的に行う手法を発展させ， 情報の流れの最適化という拘束条件に基づいた機能分化と情報の統合を実現する脳型ネットワークを構築するアルゴリズムの実現が本研究の目的である．
本年度はRNN系においてニューロンのサブグループの状態間の相互情報量をニューラルネットワークにより推定し，その最小化を勾配降下法を用いて行う実験を試みた．タスクとして，複数のカオス信号が重ね合わされた入力から，各個別の信号を分離復元するタスクを与え，グループ間相互情報量を最小化させながら学習を行った．その結果，RNNモデルはタスクを学習できたが，このとき各サブグループは個別のカオス信号を出力することに特化することが明らかになった．この機能分化の様相を，ニューロン間の相関やニューロンと出力の相関などの動的な側面，及びニューロン間の結合やニューロン-出力間の結合などの静的，解剖学的側面から分析し，それらの構造の分化の程度に差があることを発見した．これらの結果は学会発表等で発表しており，査読付き論文にまとめる予定である．
また，RNNに複数のタイムスケールのダイナミクスを学習させ，入力に応じて切り替える実験や，深層学習モデルによって生成されたカオス信号の統計的性質を調べ深層モデルの中で伝搬される情報に着目した分析を行った．これは今後，タスクに応じて適応的モジュール切り替えるネットワークを実現する実験やカオス信号の特定の情報がネットワークのどの部位で処理されているかを知る研究の基礎となる結果である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
機能分化・統合を目的とした研究計画の中で，第一の目標としていた機能分化するネットワークの研究が進展したため，おおむね順調に進展していると考えられる．
|
| 今後の研究の推進方策 |
機能分化のアルゴリズムを改良し，内在的ダイナミクスを利用して高速・安定に機能分化を実現するアルゴリズムの開発を行い，安定的で幅広いタスクに対して用いることができるように改良を行う．
また情報統合を行うサブネットワークを実現する学習則を，相互情報量学習を発展させることで開発する．
これらのアルゴリズムと自由エネルギー原理などとの関連を意識しながら手法を拡張，発展させる．
動的なモジュール切り替えを支援する学習則を．タイムスケールの切り替えに着目し構築する．
|
