• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

実ロボットにおける自律的な軌道計画を実現する階層型深層強化学習の開発

研究課題

研究課題/領域番号 19K20370
研究種目

若手研究

配分区分基金
審査区分 小区分61050:知能ロボティクス関連
研究機関東京大学 (2022)
九州工業大学 (2019-2021)

研究代表者

長 隆之  東京大学, 大学院情報理工学系研究科, 准教授 (50804663)

研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2022年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2021年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2020年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2019年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
キーワード強化学習 / 軌道計画 / ロボティクス / 深層強化学習 / 動作計画 / ロボット / 軌道最適化 / 深層学習 / ニューラルネットワーク
研究開始時の研究の概要

現在の深層強化学習は,その発展が社会的な注目を集める一方,複雑な動作を計画するための方策を自律的に学習するということが,現実世界のロボットに対しては実現できていない.本研究では,学習機能を備えたロボットシステムの社会実装を目指し,実社会で現実的に利用可能なレベルで,複雑な軌道を計画する方法を学習することのできる階層型深層強化学習アルゴリズムの開発に取り組む.

研究成果の概要

強化学習は,実社会で自律的に動くロボットを実現するためのアプローチとして期待される一方,学習効率や環境の変化への適応などに課題を抱えている。本研究は,様々な動きを学習し,それらを使い分けることにより,環境の変化へと適用できる深層強化学習の枠組みを構築することを目指した.まず,ロボットの動作計画に必要な軌道最適化の問題において,多様な解を発見するアルゴリズムを構築した。また,その知見を活かし,深層強化学習においても,多様な挙動を発見・モデル化するアルゴリズムを構築した.また,提案するアルゴリズムによって得られた多様な挙動を使い分けることによって,環境の変化への適応を効率的に行えることを示した。

研究成果の学術的意義や社会的意義

従来の研究において,ロボットの動作計画問題には無数の多様な解が存在しうることが指摘されていたが,それらを一括して導出しモデル化する手法はこれまでなかった。本研究の成果は,無数の多様な軌道を一括して導出・モデル化することを可能にした点で新規性が高い。同様に,多様な挙動を一度に学習することを深層強化学習においても実現した点にも価値がある。本研究で得られた成果は,強化学習等を活用したロボットシステムにおいて環境の変化への適応を劇的に効率化する可能性を秘めており,実社会での適用先を広げると考えられる。また,これらの成果は国際的に認知され,2022年にはロボット学習分野のトップ学会にて招待講演を行った。

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (19件)

すべて 2023 2022 2021 2020 2019 その他

すべて 雑誌論文 (7件) (うち国際共著 2件、 査読あり 5件、 オープンアクセス 1件) 学会発表 (10件) (うち国際学会 5件、 招待講演 4件) 備考 (2件)

  • [雑誌論文] Discovering diverse solutions in deep reinforcement learning by maximizing state?action-based mutual information2022

    • 著者名/発表者名
      Osa Takayuki、Tangkaratt Voot、Sugiyama Masashi
    • 雑誌名

      Neural Networks

      巻: 152 ページ: 90-104

    • DOI

      10.1016/j.neunet.2022.04.009

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Motion planning by learning the solution manifold in trajectory optimization2022

    • 著者名/発表者名
      Osa Takayuki
    • 雑誌名

      The International Journal of Robotics Research

      巻: - 号: 3 ページ: 281-311

    • DOI

      10.1177/02783649211044405

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Deep Reinforcement Learning With Adversarial Training for Automated Excavation Using Depth Images2022

    • 著者名/発表者名
      Osa Takayuki、Aizawa Masanori
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 4523-4535

    • DOI

      10.1109/access.2022.3140781

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] ロボットのための階層型深層強化学習2021

    • 著者名/発表者名
      長 隆之
    • 雑誌名

      日本ロボット学会誌

      巻: 39 号: 7 ページ: 613-616

    • DOI

      10.7210/jrsj.39.613

    • NAID

      130008083627

    • ISSN
      0289-1824, 1884-7145
    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] Goal-Conditioned Variational Autoencoder Trajectory Primitives with Continuous and Discrete Latent Codes2020

    • 著者名/発表者名
      Takayuki Osa, Shuhei Ikemoto
    • 雑誌名

      SN Computer Science

      巻: 1 号: 5

    • DOI

      10.1007/s42979-020-00324-7

    • NAID

      120007147069

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Multimodal Trajectory Optimization for Motion Planning2020

    • 著者名/発表者名
      Takayuki Osa
    • 雑誌名

      The International Journal of Robotics Research

      巻: 39 号: 8 ページ: 1-19

    • DOI

      10.1177/0278364920918296

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Hierarchical Stochastic Optimization with Application to Parameter Tuning for Electronically Controlled Transmissions2020

    • 著者名/発表者名
      Hiroyuki Karasawa, Tomohiro Kanemaki, Kei Oomae, Rui Fukui, Masayuki Nakao, Takayuki Osa
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 5 号: 2 ページ: 628-635

    • DOI

      10.1109/lra.2020.2965085

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] Discovering diverse solutions in reinforcement learning2023

    • 著者名/発表者名
      Takayuki Osa
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Dealing with the objective function with multiple extrema in robot learning2022

    • 著者名/発表者名
      Takayuki Osa
    • 学会等名
      Conference on Robot Learning
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 動的障害物回避のための多峰性最適化を用い たオンライン軌道計画法2022

    • 著者名/発表者名
      是澤真由、長隆之
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] What should we learn in a robot-learning system?2022

    • 著者名/発表者名
      Takayuki Osa
    • 学会等名
      2nd RL-CONFORM Workshop at IEEE/RSJ International Conference on Intelligent Robots and Systems
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 深層強化学習による掘削動作の異なる土質へのfewshot adaptation2022

    • 著者名/発表者名
      筬島 直人、逢澤 正憲、長 隆之
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 多様なロボットの挙動を学習する深層強化学習2021

    • 著者名/発表者名
      長隆之
    • 学会等名
      第39回日本ロボット学会学術講演会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 解の潜在空間を用いた軌道計画2020

    • 著者名/発表者名
      長隆之
    • 学会等名
      第38回日本ロボット学会学術講演会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Reducing Overestimation Bias in Multi-Agent Domains Using Double Centralized Critics2019

    • 著者名/発表者名
      Johannes Ackerman, Takayuki Osa, Masashi Sugiyama
    • 学会等名
      NeurIPS 2019 Deep Reinforcement Learning Workshop
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] How should we design a robot learning system?2019

    • 著者名/発表者名
      Takayuki Osa
    • 学会等名
      Workshop on Robot Learning: Control and Interaction in the Real World, NeurIPS 2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Trajectory optimization via density estimation2019

    • 著者名/発表者名
      Takayuki Osa
    • 学会等名
      第37回日本ロボット学会学術講演会
    • 関連する報告書
      2019 実施状況報告書
  • [備考] 九州工業大学 長研究室ホームページ

    • URL

      http://www.brain.kyutech.ac.jp/~osa/

    • 関連する報告書
      2019 実施状況報告書
  • [備考] 九州工業大学研究者詳細ページ

    • URL

      https://hyokadb02.jimu.kyutech.ac.jp/html/100001202_ja.html

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi