• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Discrete and Continuous Reinforcement Learning with a Library of Skills and its Application to Robotic Food Manipulation

Research Project

Project/Area Number 21K12070
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionTohoku University

Principal Investigator

Yamaguchi Akihiko  東北大学, 医学系研究科, 大学院非常勤講師 (10625031)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywordsロボットラーニング / 強化学習 / ロボットマニピュレーション / 触覚センシング / 触覚マニピュレーション / スキルライブラリ
Outline of Research at the Start

本研究ではロボットラーニングの立場から「物体操作に関する知識をどのような形で抽象化・構造化して記憶し,物体操作において活用するか?」を追求する.物体操作に関する知識を質の異なる多種のスキルのライブラリを構成することで抽象化し,スキルライブラリに基づき物体操作を実現する制御の計画手法・結果からの学習手法を確立し,ロボットで難易度の高い物体操作,具体的には調理タスクを題材として仮説検証を繰り返す.

Outline of Final Research Achievements

In this research, I proposed "discrete-continuous reinforcement learning" as a problem of simultaneously optimizing and learning combinations of skills expressed in a discrete form and continuous parameters of each skill, and aimed to construct a method to realize this learning framework. This mechanism enables robots to perform sophisticated object manipulation. Robot cooking was selected as a task where the characteristics of this learning and reasoning mechanism can be best demonstrated, and research and development was conducted.

Academic Significance and Societal Importance of the Research Achievements

食品を対象とするような物体操作では,対象物が食材という柔軟不定形物であり,人間はいとも簡単にこれらの対象物を操作する一方で,ロボットや機械による自動化が難しいタスクとして知られていた.このため,食品産業においても,人手不足に代表される社会課題があるにもかかわらず,自動化が進んでいないプロセスとして残っている.このようなタスクに対するソリューションとして,離散連続強化学習が開発できればインパクトは大きく,社会的意義がある.

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (8 results)

All 2024 2023 2022 2021

All Presentation (8 results) (of which Int'l Joint Research: 3 results,  Invited: 2 results)

  • [Presentation] Robotic Technologies for Food Factory Automation: Vision, Tactile, and FingerVision2024

    • Author(s)
      Akihiko Yamaguchi
    • Organizer
      ICRA 2024 Workshop on Cooking Robotics: Perception and motion planning
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 視覚を利用した触覚センサFingerVision2023

    • Author(s)
      山口明彦
    • Organizer
      画像センシング展特別招待講演
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] Reinforcement Learning with Incremental Skill Models: Extension to Tool Use As Skills2023

    • Author(s)
      Ryota Yashima, Akihiko Yamaguchi, Koichi Hashimoto
    • Organizer
      2013 IEEE/SICE International Symposium on System Integration
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 液体スキルシミュレータ:道具と柔軟な容器の導入2022

    • Author(s)
      八島 諒汰, 山口 明彦, 橋本 浩一
    • Organizer
      第40回日本ロボット学会学術講演会
    • Related Report
      2022 Research-status Report
  • [Presentation] 視触覚センサFingerVisionを搭載した高機能ロボットハンド2022

    • Author(s)
      山口 明彦
    • Organizer
      第40回日本ロボット学会学術講演会
    • Related Report
      2022 Research-status Report
  • [Presentation] Sample-Efficient Multimodal Dynamics Modeling for Risk-Sensitive Reinforcement Learning2022

    • Author(s)
      Ryota Yashima, Akihiko Yamaguchi, Koichi Hashimoto
    • Organizer
      8th International Conference on Mechatronics and Robotics Engineering
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 複雑なダイナミクス構造におけるモデルベース型強化学習のデバッグ手法2021

    • Author(s)
      八島 諒汰, 山口 明彦, 橋本 浩一
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021
    • Related Report
      2021 Research-status Report
  • [Presentation] 確率的モデルベース型強化学習における液体マニピュレーションのマルチモーダルダイナミクスの解析2021

    • Author(s)
      八島 諒汰, 山口 明彦, 橋本 浩一
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi