| Project/Area Number |
21K14130
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Tohoku University (2023)
Waseda University (2021-2022) |
|---|
Principal Investigator |
千葉 直也 東北大学, 情報科学研究科, 助教 (70890185)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | Implicit Function / 点群深層学習 / 三次元データ処理 / ハンドリング / 三次元計測 |
|---|
| Outline of Research at the Start |
本研究は動的な三次元計測・三次元データ処理の統合による三次元認識手法の開発を目指す．二次元画像で深層学習が大きな成功を収めたように，三次元データを用いるアプリケーションにおいても深層学習の適用が期待されており，ここ数年のうちに数多くの手法が発表されている．本研究提案は三次元データを実ロボットで活用する上で課題となる，三次元センサで生じる隠れ・インスタンス識別の困難さに対して，不確かさと複数物体を考慮した深層Implicit Functionと動的な計測・操作によって解決を試みるものである．
|
| Outline of Annual Research Achievements |
本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はImplicit Functionによるシーン記述として，物体の力学的パラメータと紐づけた形式で生成モデルとなるようにDeepSDFを拡張し，表面モデルによるシーン記述の方法に関する知見を深めた．特に空間解像度の高い形状に対するPositional Encodingの応用，リプシッツ正則化の導入による滑らかな形状補間の実現を試みた．この研究内容は大規模な合成データに対して物理特性と形状の対応関係を学習する研究に派生し，論文を現在投稿中である．
また，観測からの不確実性マップの推定については，NeRFにランダムな潜在ベクトルを導入するというアプローチでモデル化を行っている．この成果は国内学会で発表済みである．
また，ロボットの軌道生成において環境理解を行うための手法として，自発的なインタラクションを目指しており，ロボットの軌道から環境の状態を予測するタスクについての研究を進め，論文を投稿した．
加えて剛体変換に限らない形状のハンドリングについて，点群の被剛体位置合わせにも取り組んでいる．シーン間でのマッチングを行うことで物体の形状変形を推定することができることを示しており，また，マッチングに関する教師なしでの学習できることを検証した．このアプリケーションの実現ために点群の対応に関する二部グラフ自体を入力として学習するための枠組みを提案しており，この成果についても論文投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
シーン記述に関する方法と再構成手法については概ね完了しており，派生した研究テーマとして三次元形状記述や生成に関する応用に優先的に取り組んで一定の成果を得ることができている．また，NeRFをベースにした不確実性のモデリングには着手し一定の結果を得たが，この不確実性を用いて動作生成する部分についてはやや遅れている．
|
| Strategy for Future Research Activity |
不確実性に関するモデル化を進め，空間的に不確実性を配置・未知部分を想定したハンドリングを行う戦略の設定を優先的に進める．二次元上での不確実マップの生成まではある程度実現しているため，例えばSegment Anything in 3D with NeRFsのようなアプローチでセマンティクスと紐づけつつ3Dに転写することを目指す．
|
