|
冗長性を克服して、人間の運動の神経制御を再現する制御戦略を解明することは、人間の運動制御分野において中心的な課題である。これまで数理最適化に基づくアプローチが用いられてきた。しかし数学的最適化は、マニピュレータと環境の事前情報が与えられている場合のみ最適解を提供できる。
物理的に複雑で高次元の問題を扱うため、強化学習に深層学習技術を適用する深層強化学習(DRL)は、モデルフリーなアプローチとして有望である。しかし、現在のアルゴリズムは運動協調的な動作を考慮していないため、不自然でぎこちない制御結果になりがちである。
本研究ではリーチング運動追従タスクにおいて2種類のDRL制御を検証した。腕のモデルにDRLを適用した場合、行動コマンドはエージェントに与えるべき開ループ入力として学習される。これはDRLのフレームワークの標準的な手法である。さらに、フィードバック制御ループを持ちながらDRLを適用する、PD制御とDRL制御を組み合わせたものを「PDRL」と名付けた。
DRLとPDRLの両方で、単位エネルギーあたりの誤差指数の性能が最適化されていることを確認した。PDRLの指数はどのケースでもDRLのみの指数より概ね大きくなることが分かった。フィードバック信号により学習速度も3割向上するという結果が得られた。報酬関数に関節間のシナジーを明示的に記述しなかったが、学習過程でシナジー現象が自然に出現することを確認した。この結果は、シナジーの背後に誤差エネルギー最適化の問題が存在することを示唆している。さらに提案したフィードバック増幅型DRL制御の結果は，シナジーの発達と誤差エネルギー指数の点でDRLよりも優れた能力を示している。フィードバック制御が不必要なランダム探索を回避することでフィードフォワード項の発展を支援し、探索効率の向上につながることを示唆している。
|
