拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築

• Project/Area Number: 23K21708
• Project/Area Number (Other): 21H03519 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: 川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
• Co-Investigator(Kenkyū-buntansha): 井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157) ; 出口 大輔 名古屋大学, 情報学研究科, 准教授 (20437081)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Declined (Fiscal Year 2024)
• Budget Amount: ¥15,340,000 (Direct Cost: ¥11,800,000、Indirect Cost: ¥3,540,000); Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000); Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000); Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
• Keywords: 未知物体 / シーングラフ / 時空間 / 検出 / 追跡 / Zero-shot / Open-vocabulary / 拡張時空間シーングラフ / 未知物体検出 / 未知物体対応付け / セグメンテーション / キャプショニング / データセット生成

Outline of Research at the Start

人間は，知らない物体を見たとき，それが何かわからなくても何らかの物体であると認識でき， それを覚えておいて次に見たときに同一物体だと対応付けることもできる．しかし，ロボットは 物体検出器が学習した物体しか検出できず，異なる時刻での観測同士を対応付けることもできな い．本提案では，未知物体も扱える時空間の記述(拡張時空間シーングラフ)の仕組みを作った うえで，未知物体を含めた環境中の物体検出法及び，それらを時間方向に対応付けて拡張時空間 シーングラフを自動的に構築する手法に取り組む．これにより，ロボットによる時空間的に一貫 した環境理解を実現することを目指す．

Outline of Annual Research Achievements

今年度は，昨年度の成果を発展させ，未知事象を含む時空間の高度な認識手法・時間的対応付け手法の開発に取り組んだ．
未知事象の認識としては，コップなど特定のカテゴリ内において未知の形状をした物体の姿勢推定技術を提案した．また，認識器にとって未学習の領域をセグメンテーションする手法（Zero-shotセグメンテーション）及び，未学習の行動を検出する手法（Open-vocabulary行動検出）も提案した．これにより，未知事象が存在しても，それらを含むシーンを記述できる仕組みを実現した．また，未知物体を検出した際に，その物体を詳細に観測し，多くの情報を抽出するために，対象物を撮影した少数枚の画像から物体の3次元形状を理解するFew-shot NeRF手法（ManifoldNeRF）を提案した．
一方，物体の時間的対応付けとしては，時間的に連続するフレームでの対応付けと，異なるシーンでの対応付けに大別し，それぞれの課題に取り組んだ．時間的に連続するフレームでの対応付けとして，特に映像中で小さく写った物体に対する追跡手法を提案した．また，異なるシーンでの対応付けとして，シーングラフを利用して複数の画像の情報を要約する手法を提案した．さらに，その要約結果として要約シーングラフを出力する方法及び，その画像キャプショニングへの応用手法を提案した．
基盤Aの前年度申請の採択により，本研究課題は今年度で終了するが，拡張時空間シーングラフ構築の要素技術を確立し，当初予定していたよりも多くの研究成果が得られた．

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Category-Level Object Pose Estimation in Heavily Cluttered Scenes by Generalized Two-Stage Shape Reconstructor (2024)
  • Author(s): Tatemichi Hiroki、Kawanishi Yasutomo、Deguchi Daisuke、Ide Ichiro、Murase Hiroshi
  • Journal Title: IEEE Access Volume: 12 Pages: 33440-33448
  • DOI: 10.1109/access.2024.3372658
  • Peer Reviewed / Open Access
• [Journal Article] Image-Collection Summarization Using Scene-Graph Generation With External Knowledge (2024)
  • Author(s): Phueaksri Itthisak、Kastner Marc A.、Kawanishi Yasutomo、Komamizu Takahiro、Ide Ichiro
  • Journal Title: IEEE Access Volume: 12 Pages: 17499-17512
  • DOI: 10.1109/access.2024.3360113
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Frozen is better than learning: A new design of prototype-based classifier for semantic segmentation (2024)
  • Author(s): Chen Jialei、Deguchi Daisuke、Zhang Chenkai、Zheng Xu、Murase Hiroshi
  • Journal Title: Pattern Recognition Volume: 152 Pages: 110431-110431
  • DOI: 10.1016/j.patcog.2024.110431
  • Peer Reviewed / Open Access
• [Journal Article] An Approach to Generate a Caption for an Image Collection Using Scene Graph Generation (2023)
  • Author(s): Phueaksri Itthisak、Kastner Marc A.、Kawanishi Yasutomo、Komamizu Takahiro、Ide Ichiro
  • Journal Title: IEEE Access Volume: 11 Pages: 128245-128260
  • DOI: 10.1109/access.2023.3332098
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields (2023)
  • Author(s): Daiju Kanaoka、Motoharu Sonogashira、Hakaru Tamukoh、Yasutomo Kawanishi
  • Journal Title: arXiv Volume: cs.CV Pages: 1-15
  • Open Access
• [Journal Article] Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach (2023)
  • Author(s): Phueaksri Itthisak、Kastner Marc A.、Kawanishi Yasutomo、Komamizu Takahiro、Ide Ichiro
  • Journal Title: Lecture Notes in Computer Science book series Volume: 13833 Pages: 178-190
  • DOI: 10.1007/978-3-031-27077-2_14
  • ISBN: 9783031270765, 9783031270772
  • Peer Reviewed
• [Journal Article] A preliminary study on view independent panoptic scene change detection (2023)
  • Author(s): Li Jiaxin、Kawanishi Yasutomo、Deguchi Daisuke、Murase Hiroshi
  • Journal Title: International Workshop on Advanced Imaging Technology (IWAIT) Volume: 12592 Pages: 1-6
  • DOI: 10.1117/12.2666872
  • Peer Reviewed
• [Journal Article] Towards Open-Set Scene Graph Generation With Unknown Objects (2022)
  • Author(s): Sonogashira Motoharu、Iiyama Masaaki、Kawanishi Yasutomo
  • Journal Title: IEEE Access Volume: 10 Pages: 11574-11583
  • DOI: 10.1109/access.2022.3145465
  • Peer Reviewed / Open Access
• [Presentation] Scene Understanding Research in RIKEN Guardian Robot Project (2024)
  • Author(s): Yasutomo Kawanishi
  • Organizer: Seminar at Center for Artificial Intelligence and Advanced Robotics
  • Int'l Joint Research / Invited
• [Presentation] 検出領域絞込みと検出履歴を考慮した広角映像中の鳥追跡 (2024)
  • Author(s): リュウ テイイ, 川西 康友, 駒水 孝裕, 井手 一郎
  • Organizer: 第64回人工知能学会AIチャレンジ研究会
• [Presentation] ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields (2023)
  • Author(s): Daiju Kanaoka, Hakaru Tamukoh, Motoharu Sonogashira, Yasutomo Kawanishi
  • Organizer: the 34th British Machine Vision Conference
  • Int'l Joint Research
• [Presentation] 理研ガーディアンロボットプロジェクトにおける環境認識研究 (2023)
  • Author(s): 川西 康友
  • Organizer: 第124回オーディオビジュアル複合情報処理研究発表会
  • Invited
• [Presentation] 映像中の微小な鳥に対する検出領域絞込みと検出履歴を考慮した追跡 (2023)
  • Author(s): リュウ テイイ, 川西 康友, 駒水 孝裕, 井手 一郎
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
• [Presentation] 時間マルチスケール特徴と行動ラベル特徴によるオープンボキャブラリ行動区間認識 (2023)
  • Author(s): グエン チュンタイン, 川西 康友, 駒水 孝裕, 井手 一郎
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] Open-setシーングラフ生成のための物体間の関係を考慮した未知物体検出 (2023)
  • Author(s): 薗頭 元春, 飯山 将晃, 川西 康友
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] 検出対象領域の絞込みによる広角映像中の鳥追跡 (2023)
  • Author(s): リュウ テイイ, 川西 康友, 駒水 孝裕, 井手 一郎
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] ManifoldNeRF: 視点変化に伴う特徴ベクトルの連続変化に着目したFew-shot NeRF (2023)
  • Author(s): 金岡 大樹, 薗頭 元春, 田向 権, 川西 康友
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] Image Collection Scene Graph Summarization Enhancing Relation Predictor with External Knowledge (2023)
  • Author(s): Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] 不変直交プロトタイプを用いたセマンティックセグメンテーションに関する検討 (2023)
  • Author(s): 陳 嘉雷, 出口 大輔, チョウ チンガイ, Xu Zheng, 村瀬 洋
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
• [Presentation] Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach (2023)
  • Author(s): Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
  • Organizer: The 29th International Conference on MultiMedia Modeling
  • Int'l Joint Research
• [Presentation] A Preliminary Study on View Independent Panoptic Scene Change Detection (2023)
  • Author(s): Jiaxin Li, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
  • Organizer: International Workshop on Advanced Image Technology (IWAIT2023)
  • Int'l Joint Research
• [Presentation] 未知視点に対する疑似特徴量評価によるFew-shot NeRFの検討 (2023)
  • Author(s): 金岡 大樹, 薗頭 元春, 田向 権, 川西 康友
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
• [Presentation] Unknown Object Segmentation by View Independent Scene Change Detection (2023)
  • Author(s): Jiaxin Li, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
• [Presentation] 説明文生成を用いた動作行動予測 (2023)
  • Author(s): 中村 泰貴, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
  • Organizer: 情報処理学会自然言語処理研究会
• [Presentation] 視覚的質問応答における視線情報を利用した曖昧性解消に向けて (2023)
  • Author(s): 稲積 駿, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
  • Organizer: 言語処理学会第29回年次大会
• [Presentation] PiDP：処方箋に対するGCNの対照学習に基づく錠剤検出 (2023)
  • Author(s): グエン チュンタイン, グエン フィレ, 川西 康友, 駒水 孝裕, 井手 一郎
  • Organizer: 2023年電子情報通信学会総合大会情報・システム講演論文集
• [Presentation] Understanding and Remembering Daily 3D Environments by an Autonomous Robot (2022)
  • Author(s): Yasutomo Kawanishi
  • Organizer: ICA4 Mini Workshop on Robot And ArtificiaL Intelligence, 2022/08/31
  • Int'l Joint Research / Invited
• [Presentation] 生活環境で動作するロボットにおける画像認識と3次元的理解 (2022)
  • Author(s): 川西康友
  • Organizer: IEEE Computer Society Kansai Chapter 2022年 第１回技術講演会
  • Invited
• [Presentation] 周囲の環境を見守り、人と共存するロボット「ぶつくさ君」 (2022)
  • Author(s): 川西康友
  • Organizer: 第4回使えるセンサ・シンポジウム, 2022/07/20
  • Invited
• [Presentation] Butukusa-2: A prototype Robot for Human Assistance (2022)
  • Author(s): Yasutomo Kawanishi
  • Organizer: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshop, the 18th Embedded Vision Workshop
  • Int'l Joint Research / Invited
• [Presentation] 周囲の環境を見守り、人をさり気なく支援するガーディアンロボットの実現に向けて (2022)
  • Author(s): 川西 康友
  • Organizer: 精密工学会画像応用技術専門委員会 2022年度第1回定例研究会
  • Invited
• [Presentation] Towards Captioning an Image Collection using Scene Graph (2022)
  • Author(s): Phueaksri Itthisak, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
  • Organizer: 第25回画像の認識・理解シンポジウム(MIRU2022)