2018 Fiscal Year Research-status Report
階層型多目的強化学習を用いた脚ロボットの歩容自律生成
| Project/Area Number |
17K12759
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
小林 泰介 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10796452)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 知能ロボティクス / 強化学習 / 多目的最適化 / 歩行 |
|---|
| Outline of Annual Research Achievements |
本研究は，脚ロボットの歩容運動を階層的な多目的最適化問題として捉えた，歩容の自律学習を目的としている．この技術の確立により，物理的な制約やトレードオフを陽に考慮した学習が可能となり，生物のような自然な歩容生成が期待できる．
平成30年度では，1)動力学シミュレーション上でのActor-Critic強化学習アルゴリズムによる４脚歩行・旋回の学習，2)多目的最適化を扱うための複数のタスクを順番に学習していくことの可能な継続学習の開発，3)４脚ロボットの開発に重点を置いて研究を実施した．
具体的には，1)について，前年度に開発したV-REP上での４脚ロボットの簡易モデルを活用して，Actor-Critic強化学習アルゴリズムが歩行・旋回を学習できるかの調査を行った．その結果，全脚をまとめて制御・学習しようとすると学習の難易度が上がり所望のタスク（歩行・旋回）を学習できないことがわかった．そこで，所望のタスクが階層的かつモジュール型の問題であることに注目して，後述の継続学習手法と組み合わせながら小タスクを順を追って学習するカリキュラムを構築することで，４脚ロボットの歩容生成に成功した．
2)について，必要な学習内容のみを定着させるための不要な内容の初期化機能を有したニューラルネットワークの正則化手法や学習するネットワークの構造をモジュール性を持つフラクタルネットワークに従って設計する手法を提案した．また，それに加えてタスクに対応するモジュールのみを陽に活性化させるための入力ゲートを設計することで継続学習としての性能向上を果たした．
3)について，実機検証用の４脚ロボットを設計・開発し，強化学習プログラムを用いて動作生成可能であることを検証した．
これらの提案手法に関して査読なし国内会議で1件，査読あり国際会議で2件発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
歩容を階層モジュール構造として捉えることで，その学習が容易になることを動力学シミュレーション上で確認できたことが大きい．また，実験検証用の４脚ロボットや多目的最適化を行う上で必要となる強化学習に関連した要素技術の開発がある程度完了し，動作確認及び有用性検証を終わらせているため，残る最終年度の課題は実機での検証・調査となっている．
以上より，本研究はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
平成30年度の進捗状況を踏まえ，平成31年度はこれまで開発してきた実ロボットや強化学習アルゴリズムを利用した実機実験での検証を行う．その際に，相補性を活用した位置制御及び力制御をバランス良く選択するよう提案手法の改善に努める．また，実機での学習時間を短縮するためにシミュレーションでの学習結果の実機への転移技術に関しても開発を進めていく．
|
| Causes of Carryover |
本研究費にて参加を予定していた国際会議について，他の経費にて補助を受けることができたため．その分は，学習を加速させるための計算機の購入やロボットの改良にあてる．
|
