| 研究領域 | 身体－脳の機能不全を克服する潜在的適応力のシステム論的理解 |
|---|
| 研究課題/領域番号 |
20H05458
|
|---|
| 研究種目 |
新学術領域研究(研究領域提案型)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
複合領域
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
林部 充宏 東北大学, 工学研究科, 教授 (40338934)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2021年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2020年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
|
|---|
| キーワード | 運動適応 / 運動シナジー / 深層学習 / 超適応の科学 / 強化学習 / 運動学習 |
|---|
| 研究開始時の研究の概要 |
運動シナジーが人間の運動制御で用いられていることは既知であるが、計算論的に中枢神経がどのような法則に基づいて、どのようなメカニズムでそれが生成されているかは計算論的数理モデル構築には至っていない。計算論的神経科学では、何らかの評価関数を最小にする（最適化）するような計算方法が提案されている。最適化計算には環境と身体の数学的モデルが事前に必要となってしまう。これまではどのような計算指針でシナジーが生成できるのかのメカニズムを扱うものはほとんどなかった。その数理メカニズムの非線形ダイナミクスシステムとしての理解を深め、深層学習と統合し多様な機械力学的運動へ適応した際の拡張性、有効性を検証する。
|
| 研究実績の概要 |
冗長性を克服して、人間の運動の神経制御を再現する制御戦略を解明することは、人間の運動制御分野において中心的な課題である。これまで数理最適化に基づくアプローチが用いられてきた。しかし数学的最適化は、マニピュレータと環境の事前情報が与えられている場合のみ最適解を提供できる。
物理的に複雑で高次元の問題を扱うため、強化学習に深層学習技術を適用する深層強化学習(DRL)は、モデルフリーなアプローチとして有望である。しかし、現在のアルゴリズムは運動協調的な動作を考慮していないため、不自然でぎこちない制御結果になりがちである。
本研究ではリーチング運動追従タスクにおいて2種類のDRL制御を検証した。腕のモデルにDRLを適用した場合、行動コマンドはエージェントに与えるべき開ループ入力として学習される。これはDRLのフレームワークの標準的な手法である。さらに、フィードバック制御ループを持ちながらDRLを適用する、PD制御とDRL制御を組み合わせたものを「PDRL」と名付けた。
DRLとPDRLの両方で、単位エネルギーあたりの誤差指数の性能が最適化されていることを確認した。PDRLの指数はどのケースでもDRLのみの指数より概ね大きくなることが分かった。フィードバック信号により学習速度も3割向上するという結果が得られた。報酬関数に関節間のシナジーを明示的に記述しなかったが、学習過程でシナジー現象が自然に出現することを確認した。この結果は、シナジーの背後に誤差エネルギー最適化の問題が存在することを示唆している。さらに提案したフィードバック増幅型DRL制御の結果は，シナジーの発達と誤差エネルギー指数の点でDRLよりも優れた能力を示している。フィードバック制御が不必要なランダム探索を回避することでフィードフォワード項の発展を支援し、探索効率の向上につながることを示唆している。
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
