| 研究課題/領域番号 |
22H03662
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
野村 泰伸 大阪大学, 大学院基礎工学研究科, 教授 (50283734)
|
|---|
| 研究分担者 |
佐古田 三郎 独立行政法人国立病院機構大阪刀根山医療センター(臨床研究部), 独立行政法人国立病院機構大阪刀根山医療センター, 名誉院長 (00178625)
鈴木 康之 大阪大学, 大学院基礎工学研究科, 講師 (30631874)
遠藤 卓行 独立行政法人国立病院機構大阪刀根山医療センター(臨床研究部), 独立行政法人国立病院機構大阪刀根山医療センター, 研究員(移行) (40573225)
藤本 千里 東京大学, 医学部附属病院, 講師 (60581882)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 強化学習 / 間欠制御 / 姿勢制御 / むだ時間制御系 / ノイズ誘引性安定化 / ハイブリッド力学系 |
|---|
| 研究実績の概要 |
本研究では、ヒト静止立位姿勢の安定化制御に焦点を絞り、基底核と小脳の機能を統合したヒト立位姿勢の適応的ハイブリッド制御モデルを構築し、姿勢安定化戦略の立位環境適応的な変化、および神経疾患(基底核・前庭・小脳疾患)に起因する姿勢不安定化メカニズムの解明を目指している。
2年目の2023年度は、昨年度に引き続き、我々が提唱するヒト静止立位姿勢制御の新しい仮説である間欠制御モデルに着目し、間欠制御戦略が強化学習を通じて獲得される条件、すなわち、即時報酬関数および、プロセスノイズやフィードバック時間遅れを含む学習環境の解明を目指した。その結果、即時報酬関数に関しては、直立姿勢からのずれ（姿勢誤差）の最小化と姿勢制御に要するエネルギー消費パワーのトレードオフのバランス、フィードバック制御の位置（姿勢）誤差修正ゲインと速度誤差修正ゲイン間のバランスをある程度適切に設定することが、強化学習による間欠制御戦略の獲得につながることが明らかになった。
能動的フィードバック制御が作用しない不安定なオフサブシステムと小さなゲインを伴う能動的フィードバック制御が作用する不安定なオンサブシステムの間を状態依存的にスイッチすることで、姿勢ゆらぎを伴いつつロバストかつ低消費エネルギー（高効率）で立位姿勢を安定化することが、我々が提唱する間欠制御の特徴であるが、興味深いことに、このような特徴を有する間欠制御戦略の獲得において、システムを不安定化するある意味マイナス要素であるプロセスノイズやフィードバック時間遅れの存在が重要な役割を果たす可能性が示唆された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
研究実績の概要で述べたように、2023年度の大きな成果として、通常システムを不安定化するマイナス要素だと考えられるプロセスノイズやフィードバック時間遅れの存在が、姿勢ゆらぎを伴いつつロバストかつ低消費エネルギー（高効率）で立位姿勢を安定化する間欠制御を強化学習によって獲得に対して重要な役割を果たす可能性が示唆されたことが挙げられる。この結果は、ノイジーな環境の中で適応的かつグリーディーに制御の目的を達成する脳内情報処理の普遍性を反映している可能性があり、今後の研究の発展につながる重要な成果だと考えている。
|
| 今後の研究の推進方策 |
時間遅れ（むだ時間）がある制御系における強化学習を深層ニューラルネットワークの枠組みで実装することで、２０２３年度に得られた成果の一般化を進める計画である。特に、２０２３年度までの研究で明らかにされた報酬関数のもとで獲得される間欠制御を含む制御戦略が、プロセスノイズとむだ時間にどのように依存するかを定量的に明らかにする予定である。
さらに、小脳の機能と考えられているフィードフォワード制御に基づく予測制御によってむだ時間の影響が補償されるような強化学習系と、そのような予測の精度がノイズによって影響を受ける強化学習系を比較することで、通常システムの安定化をもたらすとされる予測制御と、逆にシステムの不安定化をもたらすとされるノイズやむだ時間の存在が、立位姿勢制御系に対してどのような（ポジティブな）影響を与えるかを明らかにする予定である。
|
