2016 Fiscal Year Annual Research Report
潜在的相互作用の知覚に基づく遠隔操作視覚支援モニタリングシステム
| Project/Area Number |
16H02880
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
関山 浩介 名古屋大学, 工学研究科, 准教授 (40293675)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | テレオペレーション / マルチロボット / 視覚支援 |
|---|
| Outline of Annual Research Achievements |
本課題では，人が遠隔操作する作業ロボットと作業環境を自律的モニタリングロボットが環境認識し，作業状況に合わせて適切な観測領域ROIを選択し，最適視点からの映像を操作者へ適応的に提示する視覚支援システムを開発することが目的である．当初の技術課題として以下の５つを挙げた．
① Convolutional NNを用いた作業環境内物体の高精度認識，② ゲシュタルト知覚による潜在的相互作用対象物体の特定とLDAによる状況認識，③ 地上ロボットによるROIの最適視点選択（障害物回避，オクルージョン），④ ドローンによるROIの最適視点選択，⑤ 視覚支援による，ペグはめ込みタスクに対する作業ロボット遠隔操作の実験評価
本年度は，上記①，②，③のベース部分を新規に導入したYoubotに実装するまでを行った．
第１に，映像からの潜在的相互作用の知覚である．RGB-Dカメラによる物体検出から，Deep Learningによる物体名称を確率的に取得し（①に該当）， 認識物体間のゲシュタルト要因の各指標から作業ロボットとの関係性を評価した．また，認識物体からLDAによる状況推定を行い，タスク環境での安全性を評価した（②に該当）．これらの評価から，作業ロボット周辺の認識物体間に対し，タスクとの関連性と衝突リスクなどの安全性評価を含む状況認識が可能となった．
第２は，ゲシュタルト評価値により関係性の高い認識対象を含むROIと，操作者の操作パネル画面上の注視領域を統合した適応的ROI選択を実現した．第３の特徴は，選択されたROIが画面上の幾何的配置バランスが最適となる構図を与えるような観測地点選択をモニタリングロボットが自律的に選択するシステムであり，③に該当する．これらを統合したシステムに対し，被験者により作業ロボットの遠隔操作実験を行い操作失敗回数が75％削減される有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請時までの先行研究の蓄積があり，比較的順調に進展している．本年度の成果は学術論文に投稿した．
新規購入したYoubotでの双腕アーム制御の制御系構築に予定以上に時間を要しているが，H29年度には問題なく実装できる見込である．
|
| Strategy for Future Research Activity |
Youbotでの双腕アーム制御系を構築し，より細かい作業タスクを遠隔操作可能とする．また同時に，モニタリングシステムにドローンを導入し，DJI Matrice100の飛行制御との連携により協調モニタリングシステムを実装する．
|
