拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築
| Project/Area Number |
23K21708
|
|---|
| Project/Area Number (Other) |
21H03519 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
出口 大輔 名古屋大学, 情報学研究科, 准教授 (20437081)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Declined (Fiscal Year 2024)
|
| Budget Amount *help |
¥15,340,000 (Direct Cost: ¥11,800,000、Indirect Cost: ¥3,540,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
|
|---|
| Keywords | 拡張時空間シーングラフ / 未知物体検出 / 未知物体対応付け / 未知物体 / セグメンテーション / シーングラフ / キャプショニング / データセット生成 |
|---|
| Outline of Research at the Start |
人間は，知らない物体を見たとき，それが何かわからなくても何らかの物体であると認識でき， それを覚えておいて次に見たときに同一物体だと対応付けることもできる．しかし，ロボットは 物体検出器が学習した物体しか検出できず，異なる時刻での観測同士を対応付けることもできな い．本提案では，未知物体も扱える時空間の記述(拡張時空間シーングラフ)の仕組みを作った うえで，未知物体を含めた環境中の物体検出法及び，それらを時間方向に対応付けて拡張時空間 シーングラフを自動的に構築する手法に取り組む．これにより，ロボットによる時空間的に一貫 した環境理解を実現することを目指す．
|
| Outline of Annual Research Achievements |
今年度は，昨年度に引き続き，未知物体が含まれる画像に対するシーングラフ生成・セグメンテーション技術の高精度化に取り組んだ．また，シーングラフを用いた様々な応用についても検討した．
まず，シーングラフ生成技術の高精度化について，昨年度構築した評価方法を用いて，提案手法の高度化に取り組んだ．この成果は現在論文投稿中である．一方，未知物体領域のセグメンテーションのために昨年度検討したデータセット構築をもとに構築したデータセット整理し，そのデータセットを用いて，未知物体のセグメンテーションに関する研究を進めた．物体個々にセグメンテーションが可能なパノプティックセグメンテーションと背景モデリング技術を組み合わせ，新規にシーン中に現れた未知物体領域を抽出する技術を提案し，国際会議で発表してBest Paper Awardを受賞した．
さらに，シーングラフ推定の応用として，画像集合に対する説明文生成手法を提案した．複数枚の画像から得られる情報を統合する目的で，各画像から得られるシーングラフを統合する手法に関する研究を進めた．各画像から得られるシーングラフのノード同士の対応関係をもとにグラフを統合し，一つのグラフを生成する．この際，同一概念の物体を，外部の知識を用いて抽象化することで同一視して統合する方法を提案した．この画像集合に対する説明文生成手法について，国際会議で発表した．
さらに今年度は国際会議を含む複数の会議で招待講演を行い，その中で本プロジェクトの未知物体を含むシーングラフ生成とその応用に関し，広く紹介した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
シーングラフを用いた応用研究が広がり，当初の想定よりも多様な応用研究ができた．
|
| Strategy for Future Research Activity |
現状用いているシーングラフの統合手法はまだまだ初歩的な技術であり，今後より高度な技術へ発展させる余地がある．特に，Re-identificationの技術を用いた，シーン間の物体対応付けの技術との統合が期待できる．
|
Report
(2 results)
Research Products
(16 results)
