2023 Fiscal Year Annual Research Report
拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築
| Project/Area Number |
21H03519
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
出口 大輔 名古屋大学, 情報学研究科, 准教授 (20437081)
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 未知物体 / シーングラフ / 時空間 / 検出 / 追跡 / Zero-shot / Open-vocabulary |
|---|
| Outline of Annual Research Achievements |
今年度は，昨年度の成果を発展させ，未知事象を含む時空間の高度な認識手法・時間的対応付け手法の開発に取り組んだ．
未知事象の認識としては，コップなど特定のカテゴリ内において未知の形状をした物体の姿勢推定技術を提案した．また，認識器にとって未学習の領域をセグメンテーションする手法（Zero-shotセグメンテーション）及び，未学習の行動を検出する手法（Open-vocabulary行動検出）も提案した．これにより，未知事象が存在しても，それらを含むシーンを記述できる仕組みを実現した．また，未知物体を検出した際に，その物体を詳細に観測し，多くの情報を抽出するために，対象物を撮影した少数枚の画像から物体の3次元形状を理解するFew-shot NeRF手法（ManifoldNeRF）を提案した．
一方，物体の時間的対応付けとしては，時間的に連続するフレームでの対応付けと，異なるシーンでの対応付けに大別し，それぞれの課題に取り組んだ．時間的に連続するフレームでの対応付けとして，特に映像中で小さく写った物体に対する追跡手法を提案した．また，異なるシーンでの対応付けとして，シーングラフを利用して複数の画像の情報を要約する手法を提案した．さらに，その要約結果として要約シーングラフを出力する方法及び，その画像キャプショニングへの応用手法を提案した．
基盤Aの前年度申請の採択により，本研究課題は今年度で終了するが，拡張時空間シーングラフ構築の要素技術を確立し，当初予定していたよりも多くの研究成果が得られた．
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
