2022 Fiscal Year Annual Research Report
拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築
| Project/Area Number |
21H03519
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
出口 大輔 名古屋大学, 情報学研究科, 准教授 (20437081)
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 未知物体 / セグメンテーション / シーングラフ / キャプショニング |
|---|
| Outline of Annual Research Achievements |
今年度は，昨年度に引き続き，未知物体が含まれる画像に対するシーングラフ生成・セグメンテーション技術の高精度化に取り組んだ．また，シーングラフを用いた様々な応用についても検討した．
まず，シーングラフ生成技術の高精度化について，昨年度構築した評価方法を用いて，提案手法の高度化に取り組んだ．この成果は現在論文投稿中である．一方，未知物体領域のセグメンテーションのために昨年度検討したデータセット構築をもとに構築したデータセット整理し，そのデータセットを用いて，未知物体のセグメンテーションに関する研究を進めた．物体個々にセグメンテーションが可能なパノプティックセグメンテーションと背景モデリング技術を組み合わせ，新規にシーン中に現れた未知物体領域を抽出する技術を提案し，国際会議で発表してBest Paper Awardを受賞した．
さらに，シーングラフ推定の応用として，画像集合に対する説明文生成手法を提案した．複数枚の画像から得られる情報を統合する目的で，各画像から得られるシーングラフを統合する手法に関する研究を進めた．各画像から得られるシーングラフのノード同士の対応関係をもとにグラフを統合し，一つのグラフを生成する．この際，同一概念の物体を，外部の知識を用いて抽象化することで同一視して統合する方法を提案した．この画像集合に対する説明文生成手法について，国際会議で発表した．
さらに今年度は国際会議を含む複数の会議で招待講演を行い，その中で本プロジェクトの未知物体を含むシーングラフ生成とその応用に関し，広く紹介した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
シーングラフを用いた応用研究が広がり，当初の想定よりも多様な応用研究ができた．
|
| Strategy for Future Research Activity |
現状用いているシーングラフの統合手法はまだまだ初歩的な技術であり，今後より高度な技術へ発展させる余地がある．特に，Re-identificationの技術を用いた，シーン間の物体対応付けの技術との統合が期待できる．
|
