ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K14130
• Research Institution: Waseda University
• Principal Investigator: 千葉 直也 早稲田大学, 次世代ロボット研究機構, 客員次席研究員(研究院客員講師) (70890185)
• Project Period (FY): 2021-04-01 – 2026-03-31
• Keywords: Implicit Function / 三次元データ処理 / ハンドリング

Outline of Annual Research Achievements

本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．モデルとして剛体変換を考慮したImplicit Functionの組み合わせによる三次元シーンを用いることがアイデアであり，本年度はこのシーンモデルの実現を目指した研究を行った．
本年度はImplicit FunctionとしてSDF (Signed Distance Function) を用いた際に，複数物体を含むシーンの剛体変換と物体形状を同時推定することが可能であるかの検証，及びロボットとハンドリング・計測対象の物体がインタラクトできるようなシミュレータ環境の整備を行った．さらに研究計画時点と比較してNeRF (Neural Radiance Field) によるモデル化に関する研究が急速に発展したため，キャッチアップとImplicit FunctionによるSurface Modelと比較のための予備実験を行った．
本年度前半の研究成果からスクラッチからSDFを用いて物体をモデル化しつつ剛体変換を推定することは容易ではないことがわかったため，できる限り具体的な三次元モデルを必要としない三次元物体検出手法の開発が必要である．このために必要となる三次元シーンの理解のためのエンコーダの開発のため，点群深層学習に関する調査とエンコーダの事前学習に関する研究を進めており，これは独立した成果として発表済みである．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

入力として想定している三次元点群から物体検出を行うための手法とImplicit Functionを用いたシーン表現の学習についてはおおむね順調に研究が進められている．NeRFなどの二次元画像のみを教師信号とするシーン再構成手法を用いた同じ問題設定でのシーン理解についても予備実験を進めている．

Strategy for Future Research Activity

NeRF関連研究の急速な発展に伴い，当初の研究計画にあったImplicit FunctionによるSDFベースのシーン理解からNeRFベースのシーン理解への変更を検討している．この場合観測計画は主として2Dカメラの配置問題となることが予想される．まずはNeRFで用いられる最適化計算と観測計画を統合することを目指すため，再構成されたシーン表現の評価を行う手法を開発し，その評価からのフィードバックを用いて観測をプログレッシブに行うアプローチをとることを予定している．

Causes of Carryover

COVID-19の流行に伴い，シミュレーションベースでの研究に注力したため，本年度については予定の物品購入と出張がなかったことによる．今年度以降は段階的に実ロボット・実環境での実験を行う予定である．