| 研究概要 |
本研究では,多自由度ロボットのための学習に基づく自律制御系の構築を目標とし,身体像を用いて状態爆発を解決する強化学習の新しい枠組みを提案した.
まず,近年のダイナミクスベースト制御における成果を取り入れ,身体像は,身体の逆モデルにより実現されるのではなく,身体のモデルを用いず環境の力学系によりに実現するべきであることを示し,身体像の新しい枠組みを提案した.
また,提案した枠組みに基づき,ロボットの身体像を分散フィードバック系により工学的に実現し,身体像によって,広大な探索空間のなかから小さな閉じた部分集合を抜き出すことが可能となることを示した.
さらに,多自由度ロボットの冗長性に注目し,広大な探索空間のかわりに,抜きだされた小さな部分集合に対して強化学習を適用しても解が獲得されることを示し,多自由度ロボットへの強化学習の適用を可能とした.
最後に,部分集合に対する強化学習により得られた知識をもとに部分集合を再構成し,再び新しい部分集合に対して強化学習を適用するというプロセスを繰り返すことで,広大な探索空間を大域的に探索し,得られた冗長な解を他のより良い解へと改善していくことが可能であることを示した.さらに,この場合,事前知識を用いず試行錯誤により自律的に解を獲得するという従来の強化学習の重要な性質を保持したまま,従来の強化学習に比べ効率的に広範囲の探索が可能となることを示した.
したがって,本研究は多自由度ロボットの学習に基づく自律制御系の新しい枠組みを提案したといえ非常に有用であると考えられる.
|
