2023 Fiscal Year Research-status Report
6脚クローラ型ロボットの学習と注視機能による自律作業
| Project/Area Number |
20K12013
|
|---|
| Research Institution | Tohoku Institute of Technology |
|---|
Principal Investigator |
藤田 豊己 東北工業大学, 工学部, 教授 (90293141)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 多脚クローラ型ロボット / 自律作業 / 深層学習 / 対象物探索 |
|---|
| Outline of Annual Research Achievements |
本研究では，災害等での人間に危険な現場で，6脚を有するクローラ型移動ロボットが脚を腕としても用いて，クローラとのハイブリッド移動をしながら，自律的に作業を実行できる技術の確立を目指す．特に，物体回収・運搬の作業を対象とし，対象物の認識や自律的な操作を可能とすることを目的とする.
2023年度では，前年度に考案したロボットによる深層学習 Single Shot Multibox Detector(SSD) を適用した対象物検出手法と，円柱形状の対象物自律把持手法をともに改良してロボットに適用し，スプレー缶を対象物として検出から把持運搬までの一連の自律動作を実現した．
対象物検出では，前年度考案した全体画像に加えて対象物領域を切り出した画像も使用した学習を行うとともに，検出時にタイリングにより探索領域を分割し，各領域での検出結果を利用した．さらに，それでも発生する誤検出に対して，追跡しながら対象物に接近するときの連続した検出領域の大きさの変化を考慮することでより精度の高い検出が可能となった．対象物の自律的把持については，前年度考案した把持位置検出用デプスカメラを使用して把持位置を決定する手法において，一般的な背景でも適用可能となるよう，対象物検出領域に絞り込んだ計測をすることで，より確実な検出が可能になった．
さらに，これらを用いた一連の動作において，対象物検出用のカメラの計測範囲を超える領域においては，把持位置検出用デプスカメラを用いて検出を補うなどの工夫を施した．その結果，屋外での実機実験において，複数障害物がある環境でも対象物の探索，検出，把持持ち上げまでの自律探索運搬動作を実現することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2023年度に計画していた深層学習による対象物検出に基づく運搬については，実際の現場での対象物検出から把持持ち上げの運搬に必要な一連の自律動作を実現でき，一定の成果が得られた．
一方，円柱形状対象物のみならず，多面体形状対象物についても対応できる把持手法の確立も目指していたが，それについては実現できなかった．箱上対象物においての本体および脚先に搭載した深度カメラと距離センサの情報から形状等を得て，把持領域および脚先位置・姿勢を検出する手法は考案したものの，実機での一連動作の検証までには至らなかった．円柱形状対象物においての検出・探索からの一連動作の研究に時間を要してしまい，こちらの内容まで至らなかったことが理由である．
さらに，応用課題として計画していた，脚とクローラのハイブリッド制御による板下対象物回収動作についても，まだ検討段階であり，実現するに至っていない．上記の研究に時間を費やしたことに加え，大学院学生の修了による人員不足が大きく影響してしまった．
|
| Strategy for Future Research Activity |
深層学習による対象物検出として，円柱形状対象物に加え，多面体形状対象物についても本体カメラの画像情報および脚先カメラ等のセンサ情報から得られた距離情報をもとに把持領域および脚先位置・姿勢を検出し，実際のロボットによる実験で手法の有効性を検証することを目指す.
そして，応用課題である板下対象物回収動作について，一連の作業動作を実現する．ロボットが適切な脚先位置・姿勢や脚先力を推定して未知重量の対象物に対して柔軟な把持持ち上げ操作ができるようになることを目指す．
また，本研究では，当初はアテンション技術を用いた対象物領域検出を行うことを検討していた．深層学習による探索が有効であったため現在はこの手法を採用しているが，将来に向けた研究発展を探るためにもアテンション技術を用いた手法も検討したい．
|
| Causes of Carryover |
研究促進のため，学生等の研究補助員に対する謝金として一部使用した．だが，関連研究発表のための国際会議への参加はできなかった．また，ロボットに搭載する視覚システムとしてハンドカメラ等の使用を検討したが，購入するには至らなかった．
次年度の使用計画として，ロボットの屋外での動作実験のため，システムの機構的な改良や防塵・防水対策が必要であり，その費用に使用したいと考えている．カメラ映像の処理および学習機能を実装するためのホストコンピュータや開発用ソフトウェアも購入したい．また，学会等の研究集会への参加費や旅費，論文投稿費での使用，学生等に対する研究補助の謝金への使用も予定している．
|
Research Products
(3 results)
