2023 Fiscal Year Research-status Report
ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成
| Project/Area Number |
21K14130
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
千葉 直也 東北大学, 情報科学研究科, 助教 (70890185)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | Implicit Function / 点群深層学習 / 三次元データ処理 |
|---|
| Outline of Annual Research Achievements |
本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はImplicit Functionによるシーン記述として，物体の力学的パラメータと紐づけた形式で生成モデルとなるようにDeepSDFを拡張し，表面モデルによるシーン記述の方法に関する知見を深めた．特に空間解像度の高い形状に対するPositional Encodingの応用，リプシッツ正則化の導入による滑らかな形状補間の実現を試みた．この研究内容は大規模な合成データに対して物理特性と形状の対応関係を学習する研究に派生し，論文を現在投稿中である．
また，観測からの不確実性マップの推定については，NeRFにランダムな潜在ベクトルを導入するというアプローチでモデル化を行っている．この成果は国内学会で発表済みである．
また，ロボットの軌道生成において環境理解を行うための手法として，自発的なインタラクションを目指しており，ロボットの軌道から環境の状態を予測するタスクについての研究を進め，論文を投稿した．
加えて剛体変換に限らない形状のハンドリングについて，点群の被剛体位置合わせにも取り組んでいる．シーン間でのマッチングを行うことで物体の形状変形を推定することができることを示しており，また，マッチングに関する教師なしでの学習できることを検証した．このアプリケーションの実現ために点群の対応に関する二部グラフ自体を入力として学習するための枠組みを提案しており，この成果についても論文投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
シーン記述に関する方法と再構成手法については概ね完了しており，派生した研究テーマとして三次元形状記述や生成に関する応用に優先的に取り組んで一定の成果を得ることができている．また，NeRFをベースにした不確実性のモデリングには着手し一定の結果を得たが，この不確実性を用いて動作生成する部分についてはやや遅れている．
|
| Strategy for Future Research Activity |
不確実性に関するモデル化を進め，空間的に不確実性を配置・未知部分を想定したハンドリングを行う戦略の設定を優先的に進める．二次元上での不確実マップの生成まではある程度実現しているため，例えばSegment Anything in 3D with NeRFsのようなアプローチでセマンティクスと紐づけつつ3Dに転写することを目指す．
|
| Causes of Carryover |
計算機の購入，論文の出版や学会参加に関する予算として次年度以降使用を予定．
|
