Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
運動シナジーが人間の運動制御で用いられていることは既知であるが、計算論的に中枢神経がどのような法則に基づいて、どのようなメカニズムでそれが生成されているかは計算論的数理モデル構築には至っていない。計算論的神経科学では、何らかの評価関数を最小にする（最適化）するような計算方法が提案されている。最適化計算には環境と身体の数学的モデルが事前に必要となってしまう。これまではどのような計算指針でシナジーが生成できるのかのメカニズムを扱うものはほとんどなかった。その数理メカニズムの非線形ダイナミクスシステムとしての理解を深め、深層学習と統合し多様な機械力学的運動へ適応した際の拡張性、有効性を検証する。
冗長性を克服して、人間の運動の神経制御を再現する制御戦略を解明することは、人間の運動制御分野において中心的な課題である。これまで数理最適化に基づくアプローチが用いられてきた。しかし数学的最適化は、マニピュレータと環境の事前情報が与えられている場合のみ最適解を提供できる。物理的に複雑で高次元の問題を扱うため、強化学習に深層学習技術を適用する深層強化学習(DRL)は、モデルフリーなアプローチとして有望である。しかし、現在のアルゴリズムは運動協調的な動作を考慮していないため、不自然でぎこちない制御結果になりがちである。本研究ではリーチング運動追従タスクにおいて2種類のDRL制御を検証した。腕のモデルにDRLを適用した場合、行動コマンドはエージェントに与えるべき開ループ入力として学習される。これはDRLのフレームワークの標準的な手法である。さらに、フィードバック制御ループを持ちながらDRLを適用する、PD制御とDRL制御を組み合わせたものを「PDRL」と名付けた。DRLとPDRLの両方で、単位エネルギーあたりの誤差指数の性能が最適化されていることを確認した。PDRLの指数はどのケースでもDRLのみの指数より概ね大きくなることが分かった。フィードバック信号により学習速度も3割向上するという結果が得られた。報酬関数に関節間のシナジーを明示的に記述しなかったが、学習過程でシナジー現象が自然に出現することを確認した。この結果は、シナジーの背後に誤差エネルギー最適化の問題が存在することを示唆している。さらに提案したフィードバック増幅型DRL制御の結果は，シナジーの発達と誤差エネルギー指数の点でDRLよりも優れた能力を示している。フィードバック制御が不必要なランダム探索を回避することでフィードフォワード項の発展を支援し、探索効率の向上につながることを示唆している。
令和3年度が最終年度であるため、記入しない。
All 2021 2020 Other
All Journal Article (6 results) (of which Peer Reviewed: 6 results, Open Access: 4 results) Presentation (10 results) (of which Int'l Joint Research: 5 results, Invited: 1 results) Remarks (2 results)
Bioinspiration & Biomimetics
Volume: 16 Issue: 5 Pages: 056016-056016
10.1088/1748-3190/ac1b6f
IEEE Access
Volume: 9 Pages: 150345-150354
10.1109/access.2021.3126311
IEEE Transactions on Medical Robotics and Bionics
Volume: 3 Issue: 2 Pages: 498-509
10.1109/tmrb.2021.3056924
IEEE Robotics and Automation Letters
Volume: 5 Issue: 2 Pages: 1271-1278
10.1109/lra.2020.2968067
Volume: 2 Issue: 4 Pages: 692-699
10.1109/tmrb.2020.3025364
Volume: 5 Issue: 2 Pages: 2154-2160
10.1109/lra.2020.2970626
http://neuro.mech.tohoku.ac.jp/
