2022 Fiscal Year Research-status Report
ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成
| Project/Area Number |
21K14130
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
千葉 直也 早稲田大学, 次世代ロボット研究機構, 客員次席研究員(研究院客員講師) (70890185)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | Implicit Function / 三次元データ処理 / ハンドリング |
|---|
| Outline of Annual Research Achievements |
本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はシーン理解のための物体単位・パーツ単位の分割を含むInplicit Functionを用いたモデル化を行った．研究計画ではSurface Modelによるモデル化を予定していたが，近年のNeRFを用いたVolumetric Modelの急速な発展を鑑み，NeRFをベースとしたモデル化を行うことを目指した．今年の範囲ではエンコーダーとの統合は行わず，まずはデコーダーのみでシーンを記述できることの確認を行った．
昨年度の研究から，自己教師のみでImplicit Functionを用いた物体・パーツのセグメンテーションを行うことは困難であることがわかった．したがって空間的な整合性を考慮したロス関数と配置によってセグメンテーション対象が偏るようにする初期化，不確実性の明示的なモデル化を導入した．このうち空間的な整合性についてはうまく作用することがわかったが，物体・パーツの分離の実現は未だ達成できていない．適切なパーツ分離にはシーン中での動きを利用した連結成分の分離が必要であろうという予想から，今後はロボットによるインタラクションを想定してシーケンシャルな観測からセグメンテーションを行うことを目指す．また，NeRFに対して不確実性の明示的な導入を行うことで未知部分のばらつきをモデル化できる可能性があることがわかった．今後はエンコーダーと組み合わせ，少数視点の観測から，観測上の不確実性と想定形状のばらつきに由来する不確実性を分けて取り扱えるようにし，必要な場合に追加のインタラクションや観測を行うことを目指す．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
点群ではなく多視点画像・動画からシーンを再構成することは達成しており，昨年度の課題であったVolumetric Modelを用いることと不確実性のモデル化をすることにも着手している．
|
| Strategy for Future Research Activity |
NeRFに不確実性を導入する手法が既にいくつか提案されているため，今後はれらの定式化を参考に不確実性を含む目的関数を設定したロボットの動作計画を行う．また，物体認識をデコーダーからの勾配を用いた最適化で行っているため，観測からモデルパラメータを予測するためのエンコーダーの開発をすすめ，高速なシーン理解の実現を目指す．
|
| Causes of Carryover |
COVID-19の流行に伴い，実ロボットを用いない観測・シーン理解部分の研究を中心に進めたこと，学会等がオンラインになったことから，本年度については物品購入と出張がなかったことによる．
|
