• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Autonomous Control of Heavy Machinery by Deep Reinforcement Learning for Automation of Skilled Work

Research Project

Project/Area Number 22K04273
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 22010:Civil engineering material, execution and construction management-related
Research InstitutionShibaura Institute of Technology

Principal Investigator

内村 裕  芝浦工業大学, 工学部, 教授 (00416710)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords深層強化学習 / 土砂撒き出し / 建設作業の自動化 / 熟練操作の模倣
Outline of Research at the Start

本研究の目的は「重機による土木施工のうち、土砂撒き出しのように作業対象の挙動変化に対する大局的な判断が必要な熟練作業を深層強化学習によって自律化すること」である。
ブルドーザによる撒き出し作業のような重機による土木施工の自動化を深層強化学習によって進めるためには「どのようにネットワークモデルを設計すべきか、いかに熟練者の技能を習得するか、どのようなデータセットと報酬(コスト)設定が適切か」が本研究課題の学術的問いであり、この問いに対し理論的および実証的な側面の両面からの検証を行う。

Outline of Annual Research Achievements

建設労働者の減少・高齢化は喫緊の課題であり、施工機械による建設作業の自動化が期待されているが、不定型な土砂などを扱う土工事の自動化は難易度が高い。特にブルドーザによる土砂の撒き出し・整地作業のように、一旦押し出した土砂を引き戻すことが困難な場合は、目標の出来型形状に至る複数の工程を考慮した大局的な判断が必要であり高度な熟練を要する作業となる。そこで本研究では、土砂の状態変化に柔軟に対応する汎化性能を深層強化学習によって獲得することで熟練作業者に匹敵する重機の自律制御の実現を目指している。当年度においては、下記のように深層強化学習による撒き出し経路の最適化のための手法についての研究を進めた。
1) 深層強化学習の入力となる土砂山の形状をリアルタイムで計測する際のオクルージョンに対し,ディープラーニングによる学習によってデータを補間する手法を提案した。背景を含む施工対象の画像を取得し,機械学習によるセグメンテーションを用いて施工対象の土砂山のみを切り抜き,更にディープラーニングモデルを用いて土砂山の形状を推論した。
2)ブルドーザオペレータから見た土砂山の画像と周辺情報から3次元情報を生成せずに,従来より少ない回数で高い充填率の撒き出しを達成した。
3)連続した撒き出しを想定し,撒き出しを繰り返す過程の充填率を高水準かつ少ない回数で効率的に行うため,目標範囲を更新し連続した撒き出しを繰り返すことのできる経路生成手法を提案した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

土砂山のオクルージョンに対する推定精度を向上するとともに,オペレータ視点からの情報のみで撒き出しを行う事を可能にするなど,当初の想定を超えて,実用化を視野に入れた検討にも踏み込んで進めている点で順調に進んでいると判断する。

Strategy for Future Research Activity

シミュレーションの所要時間の増大の大きな要因である土砂撒き出しのシミュレーションに対し,初期形状に対するブレードの経路を入力した結果をディープラーニングで学習し,都度のシミュレーションに要する計測時間を削減することを目指す。また,産業用ロボットと使用した撒き出し実験装置を構築し,実際の土砂に対する提案手法の妥当性,精度を検証する予定である。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (7 results)

All 2024 2023 2022 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (5 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] Path Planning for Construction Machines by Offline Reinforcement Learning2024

    • Author(s)
      Nakayama Tatsuya、Kashi Haruki、Uchimura Yutaka
    • Journal Title

      IEEJ Transactions on Industry Applications

      Volume: 144 Issue: 5 Pages: 367-373

    • DOI

      10.1541/ieejias.144.367

    • ISSN
      0913-6339, 1348-8163
    • Year and Date
      2024-05-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] Path Planning for Construction Machines by Pre-Modeling Soil Dynamics2024

    • Author(s)
      Tatsuya Nakayama
    • Organizer
      The IEEJ International Workshop on Sensing, Actuation, Motion Control, and Optimization
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Path Planning for Construction Machines by Pre-Modeling Soil Dynamics2024

    • Author(s)
      Yutaka Uchimura
    • Organizer
      The IEEJ International Workshop on Sensing, Actuation, Motion Control, and Optimization
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] オフライン強化学習による重機の経路制御2023

    • Author(s)
      中山 達也, 加志 東樹, 内村 裕
    • Organizer
      2023年電気学会産業応用部門大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Deep Neural Network Based Estimation of Missing Measurement Data for Construction Path Optimization2023

    • Author(s)
      Y. Yoshino, C. Hoshino, Y. Uchimura
    • Organizer
      The IEEJ International Workshop on Sensing, Actuation, Motion Control, and Optimization
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 計測データの欠損を考慮した重機の経路最適化2022

    • Author(s)
      星野智恵子,吉野裕紀,内村 裕
    • Organizer
      電気学会産業応用部門大会
    • Related Report
      2022 Research-status Report
  • [Remarks] 芝浦工業大学 機械制御工学研究室(内村研究室)

    • URL

      http://www.rcon.mech.shibaura-it.ac.jp/

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi