分類の不確かさに基づく未知物体ありシーングラフ生成による頑健なシーン認識

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K17920
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: 薗頭 元春 国立研究開発法人理化学研究所, 情報統合本部, 研究員 (90908344)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: シーングラフ生成 / 未知物体検出 / Open-set学習

Outline of Annual Research Achievements

本研究は学習時に教示されていない未知物体を含む物体間の関係を検出できる，頑健なシーングラフ生成の実現を目的とする．
最初の技術的目標である未知物体ありシーングラフ生成の評価プロトコルの確立については，本年度以前の研究準備期間に学習用データセットの作成・評価尺度の考案・ベースライン手法の比較実験は概ね完了し，その成果は雑誌論文として掲載されるに至った (Sonogashira et al., "Towards Open-Set Scene Graph Generation with Unknown Objects," IEEE Access, 2022年1月)．
そこで本年度は，次の目標である分類の不確かさに基づく未知判定による未知物体の検出に取り組んだ．ここでは各画像領域の既知物体への分類において得られるクラス所属確率を不確かさとする．具体的な課題として，未知物体と背景（非物体）の領域は共に既知物体と画像特徴が相違し不確かさが高くなるため，不確かさのみからは区別が困難であった．そこで背景は他の領域と関係を持たないという制約を活用し，分類から得られる物体・関係の存在確率を領域・領域ペアから成るグラフ上の変分ベイズ推論によって伝播して反復的に更新することで，不確かさの高い領域を未知物体と背景に分けることのできる未知判定技法を開発した．実験により，単に不確かさが閾値以上ならば未知とするベースライン技法以上の性能を達成した．また複数の代表的なシーングラフ生成モデルと組み合わせた場合の性能向上を確認し，幅広いモデルに適用できる汎用性の高い技法であることも示した．その成果は論文誌に投稿（2023年1月）し，現在査読中である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究で取り組む3つの技術的課題のうち，評価プロトコルの確立と不確かさに基づく未知物体検出の2つは既に概ね完了し，後者の成果は論文投稿中の状態にある．最後の課題である不確かさに基づく未知物体を含む関係の検出についても，既にベースとなる最新の従来手法の実装の動作検証・比較検討に入っている．

Strategy for Future Research Activity

次年度以降は最後の課題である不確かさに基づく未知物体を含む関係の検出に取り組む．具体的には訓練データに教示信号のない物体・関係の発見に特徴抽出ネットワークの活性化等を活用し，不確かさが高い領域における未知物体の有無・それらを含むペアにおける関係の有無を擬似的な教示信号から学習して検出できる手法を開発する予定である．

Causes of Carryover

投稿中の雑誌論文の査読が想定よりも遅れており，採択後のオープンアクセス出版に必要となる論文掲載料は繰り越すこととなった．