2022 Fiscal Year Research-status Report

Autonomous Control of Heavy Machinery by Deep Reinforcement Learning for Automation of Skilled Work

Research Project

Project/Area Number	22K04273
Research Institution	Shibaura Institute of Technology
Principal Investigator	内村裕芝浦工業大学, 工学部, 教授 (00416710)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	深層強化学習 / 土砂撒き出し / 建設作業の自動化
Outline of Annual Research Achievements	建設労働者の減少・高齢化は喫緊の課題であり、施工機械による建設作業の自動化が期待されているが、不定型な土砂などを扱う土工事の自動化は難易度が高い。特にブルドーザによる土砂の撒き出し・整地作業のように、一旦押し出した土砂を引き戻すことが困難な場合は、目標の出来型形状に至る複数の工程を考慮した大局的な判断が必要であり高度な熟練を要する作業となる。そこで本研究では、土砂の状態変化に柔軟に対応する汎化性能を深層強化学習によって獲得することで熟練作業者に匹敵する重機の自律制御の実現を目指している。当年度においては、下記のように深層強化学習による撒き出し経路の最適化のための手法についての研究を進めた。 1）強化学習による経路最適化においては土砂山の全体像の3次元形状のデータを入力としているが、実現場においてブルドーザ側の視点から計測する場合には、死角となる土砂データの推定が必要となる。そこで土砂山のデータの欠損部分の補完のための土砂の画像イメージ、3次元計測データを入力として土砂山の全体像を推定する深層学習ネットワークを構築した。さらに同ネットワークへの入力として撒き出し経路算出のための強化学習ネットワークに入力として与え最適経路を算出した。 2）3Dプリンタを改造した土砂撒き出し装置において、土砂形状をレーザ距離計で自動計測する装置を開発した。また同装置において、強化学習によって算出した経路で撒き出しを行い、目標の出来形に対する充填率を検証した。 3）熟練作業者の技能を獲得するためのネットワークとしてDecision Transformerによるオフライン学習を実装し、撒き出し経路の模倣学習を試行した。データセットとして、ランダムな経路、模範経路を用意して性能の検証を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 実現場での実装を想定した計測の欠損についての検討や，オフライン学習による撒き出し経路の模倣学習を進めるなど，実用化を視野に入れた検討にも踏み込んで進めている点で順調に進んでいると判断する。
Strategy for Future Research Activity	強化学習のためには土砂撒き出しのシミュレーションを都度行う必要があるが，同シミュレーションの所要時間の増大が大きな課題であるので，同シミュレーションの高速化を図ると同時に，土砂の力学的な動的作用を算出するシミュレーターと実際の土砂の挙動の差異を最小化する方策について検討する。また，Decision Transformerのようなオフライン学習のデータセット取得についての検討し，同学習手法の性の向上を図る予定である。
Causes of Carryover	当該年度成果の国際会議での発表において現地参加予定のところがオンライン参加となったため，航空費，宿泊費を含む旅費が不要となったことが大きな理由である。翌年度においては，前年度分を含めた成果報告のための学会参加費，論文投稿費用に充当する予定である。