2019 Fiscal Year Annual Research Report
Locomotion Control for Legged Robot using Hierarchical Multi-Objective Reinforcement Learning
| Project/Area Number |
17K12759
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
小林 泰介 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10796452)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 知能ロボティクス / 強化学習 / 多目的最適化 / 歩行 |
|---|
| Outline of Annual Research Achievements |
本研究は，脚ロボットの歩容運動を階層的な多目的最適化問題として捉えた，歩容の自律学習を目的としている．この技術の確立により，物理的な制約やトレードオフを陽に考慮した学習が可能となり，生物のような自然な歩容生成が期待できる．
最終年度では，1)多目的最適化問題を扱う際に陥りやすい局所解を回避して大域的最適解を発見しうる方策の解析・評価，2)多目的最適化を扱うための複数のタスクを順番に学習していくことの可能な継続学習の改良・評価，3)4脚ロボットの改良，の3点に重点を置いて研究を実施した．
具体的には，1)について，2017年度に提案したスチューデントのt分布を用いた方策の解析を進めるとともに勾配の補正を加えて動力学シミュレーション上にて従来手法との統計的な比較検証を実施した．結果として，提案手法が安定して大域的最適解を発見しやすいことを示した．この成果は査読あり国際論文誌に1編掲載された．
2)について，2018年度に提案したニューラルネットワークの正則化手法を簡略化して計算コストを削減した手法を新たに提案した．この成果は査読なし国内会議で1件発表した．また，モジュール性を与えるためのフラクタルネットワークに基づいた設計手法について設計の改善に努め，より多くのタスクを継続して学習していくことができることを示した．この成果は査読なし国内会議で1件，査読あり国際会議で1件発表した．
3)について，接触力の影響が他の脚へとより顕著に出るように，体幹部に柔軟に曲がる背骨構造を採用して設計・開発した．
研究期間全体を通じて，査読なし国内会議で4件，査読あり国際会議で3件発表し，査読あり国際論文誌に1編掲載された．また新たに国際論文誌に1編投稿し，現在査読中である．
|
