2021 Fiscal Year Research-status Report
6脚クローラ型ロボットの学習と注視機能による自律作業
| Project/Area Number |
20K12013
|
|---|
| Research Institution | Tohoku Institute of Technology |
|---|
Principal Investigator |
藤田 豊己 東北工業大学, 工学部, 教授 (90293141)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 6脚クローラ型ロボット / 自律作業 / 深層学習 / 対象物認識 |
|---|
| Outline of Annual Research Achievements |
本研究では，災害等での人間に危険な現場で，6脚を有するクローラ型移動ロボットが脚を腕としても用いて，クローラとのハイブリッド移動をしながら，自律的に作業を実行できる技術の確立を目指す．特に，物体回収・運搬の作業を対象とし，対象物の認識や自律的な操作を可能とすることを目的とする.
そのため，令和3年度において，前年度拡張したロボット前脚の4自由度から6自由度への拡張を後脚にも適用し，脚先を任意の位置・姿勢に制御できるようにした．これによって，作業性能のみならず，脚を用いて補助しながらの段差溝乗り越えなどにおいて移動性能の向上が可能となった．
それに加え，前年度から行っていた深層学習Single Shot Multibox Detector(SSD) を適用した対象物検出を発展させ，ロボットによる認識とそれに基づく動作を実現した．実際にロボットが活動する屋外環境において，対象物のスプレー缶が様々な距離・姿勢や他の物体とのオクルージョンがある状態で置かれた場合を想定し，様々なパターンの画像を用いて学習をした．そして，実際にロボットによる実機実験によりロボット動作時の認識を検証した．ロボットはその場回転し周囲の対象物を検出する．検出した場合，検出領域が小さく対象物が遠くにある場合は前進し，また対象物検出領域重心が画像の左右にある場合には機体を旋回させて画像内の中心に捉える．これを繰り返し，対象物を操作できる位置に到達する．実験の結果，対象物が遠距離のとき未検出となる場合もあったが，中距離のときは検出して対象物に接近できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
前年度の結果も踏まえた2021年度の計画では，実験システム構築，深層学習を用いた対象物認識手法の洗練，注視モデルの構築を行う予定であった．さらに可能であれば，把持領域および脚先位置・姿勢の検出と，軽量対象物による把持実験での検証も目指した．
このうち，実験システム構築については，視覚センサとしてカメラをロボット本体に搭載した．また，この映像の処理および学習機能を実装するためのホストコンピュータを外部に設置し，深層学習による認識のソフトウェアを開発した．本体カメラのみでの対象物認識に注力したため，脚先へのカメラ搭載までは実現できなかったが，ほぼシステム構築は実現できた．
深層学習による対象物認識の実現については，引き続き深層学習の一つであるSingle Shot Multibox Detector (SSD)を使用した学習方法を洗練させて実際の不整地環境での認識実験により中距離までの認識について有効性を確認できた．さらに対象物が離れている場合については課題が残ったものの，ほぼ計画通り進めることができた．
一方，注視モデルの構築については未着手となった．これは，深層学習による対象物検出についてある程度の目処が立ってきたこともあり，この手法での検出に注力したためである．今後もこの手法によりまずはどこまで認識できるかを明らかにしたい．そのため，注視モデルの実装についてはもう少し先に延ばすことも検討している．また，把持領域および脚先位置・姿勢の検出と把持実験についても未着手となった．今後の研究の展開により検証していきたい．
全体を通じて，2021年度もコロナ禍の影響があり，予定していた研究時間を十分に確保できず，進捗の度合いが遅くなってしまったことも大きく影響した.
|
| Strategy for Future Research Activity |
まずは，深層学習による対象物検出の実現を目指したい．深層学習の一つである Single Shot Multibox Detector (SSD)を使用した学習による対象物認識を検討していたが，5m より遠い距離では検出率が極めて悪かった．この課題を解決し，遠方の対象物を検出できるようにしたい．そして実際の現場で対象物を認識し，それを自律的に把持運搬する一連の自律動作を実現することを目指す．把持動作制御についても，多面体形状対象物の把持領域を本体および脚先カメラの画像情報から得て，把持領域および脚先位置・姿勢を検出し，軽量対象物による実験で検証することを目指す.
その上で，注視モデルの構築に着手する．深層学習でのアテンション技術をホストコンピュータ上に実装してボトムアップ要因モデルと融合し，注視モデルを構築していく.
さらに，応用課題として，板下対象物回収動作について着手し，実機により一連の作業動作を検証する．最初は実験室内で実験環境を整備し，様々に条件を変えて実施する．有効性が得られたら次に実際の現場で実験を行い，本ロボットの有用性を示す．
今年度もコロナ禍への対応が予想され，研究時間の確保が課題となるが，臨機応変に柔軟に対応したい．
|
| Causes of Carryover |
昨年度のコロナ禍の影響で，国際会議への参加ができず，国内会議もオンラインでの参加となり，旅費を使用することができなかった．その分，学生等の研究補助員に対する謝金として一部使用した．また，ロボットに搭載する視覚システムについては，ハンドカメラ等の購入は検討するにとどまり，その物品について購入できなかった.
次年度の使用計画として，学会等の研究集会への参加費や旅費，論文投稿費での使用，学生等に対する研究補助の謝金，そしてロボットシステム整備のための物品購入に使用する予定である．特に屋外での動作実験のための環境を整える必要があるため，ロボットも修繕や防水防塵対策などを施すことが必要となる．また，カメラ映像の処理および学習機能を実装するためのホストコンピュータや開発用ソフトウェアもを購入する計画である.
|
