| Project/Area Number |
23K24918
|
|---|
| Project/Area Number (Other) |
22H03662 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
野村 泰伸 大阪大学, 大学院基礎工学研究科, 教授 (50283734)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐古田 三郎 独立行政法人国立病院機構大阪刀根山医療センター(臨床研究部), 独立行政法人国立病院機構大阪刀根山医療センター, 名誉院長 (00178625)
鈴木 康之 大阪大学, 大学院基礎工学研究科, 講師 (30631874)
遠藤 卓行 独立行政法人国立病院機構大阪刀根山医療センター(臨床研究部), 独立行政法人国立病院機構大阪刀根山医療センター, 研究員(移行) (40573225)
藤本 千里 東京大学, 医学部附属病院, 講師 (60581882)
MILOSEVIC MATIJA 大阪大学, 大学院基礎工学研究科, 助教 (50840188)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2024: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000)
|
|---|
| Keywords | 姿勢制御 / 強化学習 / モデル予測制御 / 大脳基底核 / パーキンソン病 / 間欠制御 / むだ時間制御系 / ノイズ誘引性安定化 / ハイブリッド力学系 / 小脳 / 誤差学習 / ハイブリッド制御 / フィードバック誤差学習 / 立位姿勢制御 |
|---|
| Outline of Research at the Start |
強化学習・報酬予測の座である大脳基底核と、教師あり学習により内部モデルを適応的に獲得する小脳の機能分担・機能連携のモデルは、モデルフリーおよびモデルベースの意思決定・行動選択の脳内メカニズムの有力仮説である。しかし、具体的な脳機能を対象としてその実体がシステム工学的に解明された例は少ない。本研究では、そうした脳内メカニズムが重要な役割を果たすと考えられるヒト静止立位姿勢の安定化制御に焦点を絞り、基底核と小脳の機能を統合した立位姿勢の適応的ハイブリッド制御モデルを構築し、姿勢安定化戦略の立位環境適応的な変化、および神経疾患(基底核・前庭・小脳疾患)に起因する姿勢不安定化メカニズムの解明を目指す。
|
| Outline of Annual Research Achievements |
本研究では、ヒト静止立位姿勢の安定化制御に焦点を絞り、基底核と小脳の機能を統合したヒト立位姿勢の適応的ハイブリッド制御モデルを構築し、姿勢安定化戦略の立位環境適応的な変化、および神経疾患(基底核・前庭・小脳疾患)に起因する姿勢不安定化メカニズムの解明を目指している。
2年目の2023年度は、昨年度に引き続き、我々が提唱するヒト静止立位姿勢制御の新しい仮説である間欠制御モデルに着目し、間欠制御戦略が強化学習を通じて獲得される条件、すなわち、即時報酬関数および、プロセスノイズやフィードバック時間遅れを含む学習環境の解明を目指した。その結果、即時報酬関数に関しては、直立姿勢からのずれ（姿勢誤差）の最小化と姿勢制御に要するエネルギー消費パワーのトレードオフのバランス、フィードバック制御の位置（姿勢）誤差修正ゲインと速度誤差修正ゲイン間のバランスをある程度適切に設定することが、強化学習による間欠制御戦略の獲得につながることが明らかになった。
能動的フィードバック制御が作用しない不安定なオフサブシステムと小さなゲインを伴う能動的フィードバック制御が作用する不安定なオンサブシステムの間を状態依存的にスイッチすることで、姿勢ゆらぎを伴いつつロバストかつ低消費エネルギー（高効率）で立位姿勢を安定化することが、我々が提唱する間欠制御の特徴であるが、興味深いことに、このような特徴を有する間欠制御戦略の獲得において、システムを不安定化するある意味マイナス要素であるプロセスノイズやフィードバック時間遅れの存在が重要な役割を果たす可能性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究実績の概要で述べたように、2023年度の大きな成果として、通常システムを不安定化するマイナス要素だと考えられるプロセスノイズやフィードバック時間遅れの存在が、姿勢ゆらぎを伴いつつロバストかつ低消費エネルギー（高効率）で立位姿勢を安定化する間欠制御を強化学習によって獲得に対して重要な役割を果たす可能性が示唆されたことが挙げられる。この結果は、ノイジーな環境の中で適応的かつグリーディーに制御の目的を達成する脳内情報処理の普遍性を反映している可能性があり、今後の研究の発展につながる重要な成果だと考えている。
|
| Strategy for Future Research Activity |
時間遅れ（むだ時間）がある制御系における強化学習を深層ニューラルネットワークの枠組みで実装することで、２０２３年度に得られた成果の一般化を進める計画である。特に、２０２３年度までの研究で明らかにされた報酬関数のもとで獲得される間欠制御を含む制御戦略が、プロセスノイズとむだ時間にどのように依存するかを定量的に明らかにする予定である。
さらに、小脳の機能と考えられているフィードフォワード制御に基づく予測制御によってむだ時間の影響が補償されるような強化学習系と、そのような予測の精度がノイズによって影響を受ける強化学習系を比較することで、通常システムの安定化をもたらすとされる予測制御と、逆にシステムの不安定化をもたらすとされるノイズやむだ時間の存在が、立位姿勢制御系に対してどのような（ポジティブな）影響を与えるかを明らかにする予定である。
|
