Hierarchical Reinforcement Learning for Autonomous Motion Planning with Real Robots

2022 Fiscal Year Final Research Report

• Project/Area Number: 19K20370
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: The University of Tokyo (2022); Kyushu Institute of Technology (2019-2021)
• Principal Investigator: Osa Takayuki 東京大学, 大学院情報理工学系研究科, 准教授 (50804663)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 強化学習 / 軌道計画 / ロボティクス

Outline of Final Research Achievements

Reinforcement learning (RL) is a promising approach to realizing autonomous robots that work in the real world. However, RL faces challenges in learning efficiency and adaptation to changes in the environment. This study aimed to develop a framework for deep RL that can be adapted to changes in the environment by learning various types of movements and using them differently. First, we constructed an algorithm that finds diverse solutions to the problem of trajectory optimization, which is necessary for robot motion planning. Using this knowledge, we also developed an algorithm for deep RL that can find and model a myriad of solutions. We also showed that the algorithm can efficiently adapt to changes in the environment by using a variety of behaviors obtained by the proposed algorithm.

Free Research Field

知能ロボティクス

Academic Significance and Societal Importance of the Research Achievements

従来の研究において，ロボットの動作計画問題には無数の多様な解が存在しうることが指摘されていたが，それらを一括して導出しモデル化する手法はこれまでなかった。本研究の成果は，無数の多様な軌道を一括して導出・モデル化することを可能にした点で新規性が高い。同様に，多様な挙動を一度に学習することを深層強化学習においても実現した点にも価値がある。本研究で得られた成果は，強化学習等を活用したロボットシステムにおいて環境の変化への適応を劇的に効率化する可能性を秘めており，実社会での適用先を広げると考えられる。また，これらの成果は国際的に認知され，2022年にはロボット学習分野のトップ学会にて招待講演を行った。