超適応としての高次脳機能：無限定環境へのプロアクティヴ・アウトリーチ原理の探究

• Project Area: Hyper-adaptability for overcoming body-brain dysfunction: Integrated empirical and system theoretical approaches
• Project/Area Number: 22H04780
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Tohoku Medical and Pharmaceutical University
• Principal Investigator: 坂本 一寛 東北医科薬科大学, 医学部, 准教授 (80261569)
• Project Period (FY): 2022-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000); Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
• Keywords: 無限定環境 / 強化学習 / 動的状態空間 / 補足運動野 / 高次脳機能 / 順序動作 / 積極的働きかけ / 学習モデル

Outline of Research at the Start

本研究は、環境への積極的働きかけ原理の解明を目的とする。具体的には、1)高次運動野/前頭前野関連課題を学習するモデルを構築し、順序行動発現の原理を解明する。2)課題難易度とモデルメタパラメータをどう制御すると意欲と課題成績の関係則を再現できるかを検討し、意欲の理論を構築する。これらにより、家電製品を適切な順序で操作できない、意欲がない等の高次脳機能障害の神経基盤の解明に貢献する。

Outline of Annual Research Achievements

何が生じうるか確率空間すら規定できない環境を無限定環境と呼ぶ．無限定環境に適応するには，世界に積極的に働きかけ（プロアクティヴ・アウトリーチ），適応の枠組みそのものを自ら生成する必要がある．本研究では坂本のこれまでのモデルを発展させ，大脳皮質補足運動野の機能解明に用いられた順序動作課題を学習可能なモデルを構築した．課題ではまず，視覚誘導性課題を行った．ここでは， push, pull, turnのいずれかの動作を指示する信号に従い，ゴー信号を合図に動作を実行する．ある試行ブロックでは同じ指示信号が同一順序で提示され，エージェントが７試行連続で正解すると，記憶誘導性課題へと移行する．７試行連続で正解すると再び視覚誘導性課題に戻り，異なる順序動作が指示される．モデルでは，課題の異なる提示画面に対して異なるコンテキスト依存学習セットが生成される．各学習セットは知覚情報モジュールと行動結果履歴モジュールから構成される．知覚情報モジュールでは，現在のコンテキスト以前のコンテキスト（課題提示画面）の情報が保持される．もう一つのモジュールでは，行動と結果の履歴を状態生成の手がかりとした．状態空間/Qテーブルの拡張は，決定一意性および経験飽和度の２つの基準に基づき行われた．モデルは，速やかに課題を学習し，高い正答率，および順調は順序動作スイッチを示した．一方、生理学実験からは特定動作順序に選択的に活動する神経細胞活動，例えば， Pull-Turn-Push行動を行う試行の冒頭のみに活動する細胞などが観察されている。このような細胞の活動は，「Turnを実行し，引き続きPushを実行して報酬を得た」場合の動作PullのQ値としてモデルで説明できる．本モデルは，状態を自ら生成することで無限定環境に適応可能であるだけでなく，高次運動野の計算論的理解の道を開いた．

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] 単一細胞記録する意義 ～ 補足運動野神経細胞活動から強化学習モデルへのリバースエンジニアリング ～ (2023)
  • Author(s): 松本 直, 田村 尚己, 虫明 元, 坂本 一寛
  • Journal Title: 信学技報 Volume: 123 Pages: 1-5
• [Journal Article] 振動子相互作用を用いて巡回セールスマン問題を解く (2023)
  • Author(s): 衣笠 智昭, 小野 楓斗, 坂本 一寛
  • Journal Title: 信学技報 Volume: 123 Pages: 149-152
• [Journal Article] A Dynamic, Economical, and Robust Coding Scheme in the Lateral Prefrontal Neurons of Monkeys (2023)
  • Author(s): Kazuhiro Sakamoto, Naohiro Saito, Shun Yoshida, Hajime Mushiake
  • Journal Title: Lecture Notes in Computer Science Volume: 13624 Pages: 13-24
  • DOI: 10.1007/978-3-031-30108-7_2
  • ISBN: 9783031301070, 9783031301087
  • Peer Reviewed
• [Journal Article] 簡単な音刺激で注意は改善するか? バイノウラル・ビート刺激の可能性 (2023)
  • Author(s): 宮津 正格, 坂本 一寛
  • Journal Title: 東北医科薬科大学研究誌 Volume: 69 Pages: 1-9
  • Peer Reviewed
• [Journal Article] A High-speed Measurement System for Treadmill Spherical Motion in Virtual Reality for Mice and a Robust Rotation Axis Estimation Algorithm Based on Spherical Geometry (2023)
  • Author(s): Satoshi Zuguchi, Kazuhiro Sakamoto, Norihiro Katayama, Hajime Mushiake
  • Journal Title: IPSJ Transactions on Bioinformatics Volume: 16 Issue: 0 Pages: 1-12
  • DOI: 10.2197/ipsjtbio.16.1
  • ISSN: 1882-6679
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Shape and Rule Information Is Reflected in Different Local Field Potential Frequencies and Different Areas of the Primate Lateral Prefrontal Cortex (2022)
  • Author(s): Sakamoto Kazuhiro、Kawaguchi Norihiko、Mushiake Hajime
  • Journal Title: Frontiers in Behavioral Neuroscience Volume: 16 Pages: 750832-750832
  • DOI: 10.3389/fnbeh.2022.750832
  • Peer Reviewed / Open Access
• [Journal Article] Reinforcement Learning Model With Dynamic State Space Tested on Target Search Tasks for Monkeys: Extension to Learning Task Events (2022)
  • Author(s): Sakamoto Kazuhiro、Yamada Hinata、Kawaguchi Norihiko、Furusawa Yoshito、Saito Naohiro、Mushiake Hajime
  • Journal Title: Frontiers in Computational Neuroscience Volume: 16 Pages: 784604-784604
  • DOI: 10.3389/fncom.2022.784604
  • Peer Reviewed / Open Access
• [Journal Article] 高次運動野の機能分化を説明する動的状態空間強化学習モデル (2022)
  • Author(s): 田村 尚己, 虫明 元, 坂本 一寛
  • Journal Title: 信学技報 Volume: NC2022(42) Pages: 44-48
• [Journal Article] 創造性はいかに生まれるか ー複雑系科学と神経生理学からの解明 (2022)
  • Author(s): 坂本一寛
  • Journal Title: 大阪保険医雑誌 Volume: 50(669) Pages: 4-8
• [Presentation] 経路探索課題中の背側運動前野と外側前頭前野の神経活動の比較 (2024)
  • Author(s): 坂本一寛, 斎藤尚宏, 吉田隼, 虫明元
  • Organizer: 第101回 日本生理学会大会
• [Presentation] 認知的柔軟性にフォーカスした高次脳機能の包括的研究体制の構築 (2023)
  • Author(s): 坂本 一寛, 松坂 義哉
  • Organizer: 第55回東北生理談話会
• [Presentation] A Reinforcement Learning Model for Higher Motor Areas (2023)
  • Author(s): Kazuhiro Sakamoto
  • Organizer: The 2nd International Symposium “Hyper -Adaptability”
  • Int'l Joint Research
• [Presentation] 社会における「気づき」を促すシステムと AI (2023)
  • Author(s): 久保田 直行, 池田 和司, 坂本 一寛, 村田 忠彦, 寄田 明宏
  • Organizer: 第31回インテリジェント・システム・シンポジウム
• [Presentation] 前頭前野神経活動を BMI 利用するには機械側にも状況判断が求められる (2023)
  • Author(s): 坂本一寛
  • Organizer: 第31回インテリジェント・システム・シンポジウム
• [Presentation] 蔵本振動子排他的三体相互作用の解析解 (2023)
  • Author(s): 小野楓斗, 衣笠智昭, 坂本一寛
  • Organizer: 第３３回日本神経回路学会全国大会
• [Presentation] 補足運動野の神経活動を説明する動的状態空間強化学習モデル (2023)
  • Author(s): 坂本 一寛, 松本, 直, 田村尚己, 虫明 元
  • Organizer: 第46回日本神経科学大会
• [Presentation] 振動子相互作用を用いて巡回セールスマン問題を解く (2023)
  • Author(s): 衣笠 智昭, 小野 楓斗, 坂本 一寛
  • Organizer: 電子情報通信学会ニューロコンピューティング研究会
• [Presentation] マウス用ヴァーチャル・リアリティにおけるトレッドミル球体運動の高速計測システムと球面幾何学を応用したロバストな回転軸推定アルゴリズム (2023)
  • Author(s): 洞口学志, 坂本一寛, 片山統裕, 虫明元
  • Organizer: 情報処理学会 バイオ情報学研究会
• [Presentation] メレオロジーと強化学習の接点 (2023)
  • Author(s): 坂本一寛
  • Organizer: 第100回 日本生理学会大会
  • Int'l Joint Research
• [Presentation] Higher brain function research needs good questions and theories (2023)
  • Author(s): Kazuhiro Sakamoto
  • Organizer: NIPS workshop 2022 "Multi-disciplinary approach to understand neuronal network architecture for controlling motor actions"
  • Int'l Joint Research
• [Presentation] Multidimensional analysis of extracellular potentials in the cerebral cortex (2022)
  • Author(s): Kazuhiro Sakamoto
  • Organizer: Nara Institute of Science and Technology, Information Science, Colloquium A
  • Invited
• [Presentation] 高次運動野機能分化を再現する動的状態空間強化学習モデル [1P-310] (2022)
  • Author(s): 田村 尚己, 虫明 元, 坂本 一寛
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] 決定一意性、学習飽和度は状態空間拡張の適切さを規定する~動的状態空間強化学習モデルとディリクレモデルとの比較 [3P-261] (2022)
  • Author(s): 坂本 一寛, 片倉 世雄, 虫明 元
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] 機械学習を超える脳~高次脳機能の神経生理学と計算論からの展望~ (2022)
  • Author(s): 坂本一寛
  • Organizer: APSIPA BioSiPS Workshop 2022 in Kitami
  • Int'l Joint Research
• [Presentation] 高次運動野の機能分化を説明する動的状態空間強化学習モデル (2022)
  • Author(s): 田村 尚己, 虫明 元, 坂本 一寛
  • Organizer: 電子情報通信学会 ニューロコンピューティング)研究専門委員会
• [Presentation] Increased firing variability may be an early warning signal of bifurcation in neuronal networks: Validation in action planning-related cells of monkey prefrontal cortex (2022)
  • Author(s): Kazuhiro Sakamoto, Naohiro Saito, Shun Yoshida, Hajime Mushiake
  • Organizer: Neuroscience 2022
  • Int'l Joint Research
• [Presentation] A dynamic, economical, and robust coding scheme in the lateral prefrontal neurons of monkeys (2022)
  • Author(s): Kazuhiro Sakamoto, Naohiro Saito, Shun Yoshida, Hajime Mushiake
  • Organizer: The 29th International Conference on Neural Information Processing
  • Int'l Joint Research