ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成
| Project/Area Number |
21K14130
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
千葉 直也 早稲田大学, 次世代ロボット研究機構, 客員次席研究員(研究院客員講師) (70890185)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | Implicit Function / 三次元データ処理 / ハンドリング / 三次元計測 |
|---|
| Outline of Research at the Start |
本研究は動的な三次元計測・三次元データ処理の統合による三次元認識手法の開発を目指す．二次元画像で深層学習が大きな成功を収めたように，三次元データを用いるアプリケーションにおいても深層学習の適用が期待されており，ここ数年のうちに数多くの手法が発表されている．本研究提案は三次元データを実ロボットで活用する上で課題となる，三次元センサで生じる隠れ・インスタンス識別の困難さに対して，不確かさと複数物体を考慮した深層Implicit Functionと動的な計測・操作によって解決を試みるものである．
|
| Outline of Annual Research Achievements |
本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はシーン理解のための物体単位・パーツ単位の分割を含むInplicit Functionを用いたモデル化を行った．研究計画ではSurface Modelによるモデル化を予定していたが，近年のNeRFを用いたVolumetric Modelの急速な発展を鑑み，NeRFをベースとしたモデル化を行うことを目指した．今年の範囲ではエンコーダーとの統合は行わず，まずはデコーダーのみでシーンを記述できることの確認を行った．
昨年度の研究から，自己教師のみでImplicit Functionを用いた物体・パーツのセグメンテーションを行うことは困難であることがわかった．したがって空間的な整合性を考慮したロス関数と配置によってセグメンテーション対象が偏るようにする初期化，不確実性の明示的なモデル化を導入した．このうち空間的な整合性についてはうまく作用することがわかったが，物体・パーツの分離の実現は未だ達成できていない．適切なパーツ分離にはシーン中での動きを利用した連結成分の分離が必要であろうという予想から，今後はロボットによるインタラクションを想定してシーケンシャルな観測からセグメンテーションを行うことを目指す．また，NeRFに対して不確実性の明示的な導入を行うことで未知部分のばらつきをモデル化できる可能性があることがわかった．今後はエンコーダーと組み合わせ，少数視点の観測から，観測上の不確実性と想定形状のばらつきに由来する不確実性を分けて取り扱えるようにし，必要な場合に追加のインタラクションや観測を行うことを目指す．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
点群ではなく多視点画像・動画からシーンを再構成することは達成しており，昨年度の課題であったVolumetric Modelを用いることと不確実性のモデル化をすることにも着手している．
|
| Strategy for Future Research Activity |
NeRFに不確実性を導入する手法が既にいくつか提案されているため，今後はれらの定式化を参考に不確実性を含む目的関数を設定したロボットの動作計画を行う．また，物体認識をデコーダーからの勾配を用いた最適化で行っているため，観測からモデルパラメータを予測するためのエンコーダーの開発をすすめ，高速なシーン理解の実現を目指す．
|
Report
(2 results)
Research Products
(2 results)
