| Project/Area Number |
22K17920
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
薗頭 元春 国立研究開発法人理化学研究所, 情報統合本部, 研究員 (90908344)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | シーングラフ生成 / 未知物体検出 / Open-set学習 / コンピュータビジョン |
|---|
| Outline of Research at the Start |
近年，複雑な実世界を詳細に認識するため，物体とそれらの関係を表すシーングラフを画像から機械学習に基づいて生成することが研究されている．しかし現実には事前に教示しきれない未知の物体が存在するため，従来の技術では未知の物体を無視または既知の物体として誤検出してしまい，未知物体を含む関係も検出もできない．本研究では未知物体とそれらの関係を表現できるシーングラフ生成を実現することを目的とする．具体的には「未知物体ありシーングラフ生成」という新しい問題を提起した上で，既知クラスへの分類の不確かさを未知判定と特徴抽出に利用することで，未知物体でもそれらの関係と共に検出することを可能にする．
|
| Outline of Annual Research Achievements |
今年度は未知物体のあるopen-setシーングラフ生成（SGG）における，不確かさに基づく未知物体の関係検出に取り組んだ．具体的には訓練時に予測の不確かさに基づいて生成した擬似ラベルによって，未知物体とその関係の検出を明示的に学習する新たなopen-set技法を開発した．特に未知物体の擬似ラベルだけでは関係真値のない未知物体は常に関係を持たないと学習してしまう問題を解決するため，未知物体の関係についても擬似ラベルを生成する技術を設計・実装した．また昨年度から用いているモデルに加えて，closed-set SGGの最新モデルの公開実装もopen-set拡張することでモデル間の性能比較を可能とした．さらに提案技法を複数のSGGモデルと組み合わせて実験的に評価し，テスト時のみに未知物体を考慮する昨年度までの技法や関係を考慮しないopen-set物体検出の従来技法と比較して，モデルに依存しない提案技法の優位性を確認した．これらの成果の一部については国内研究会に投稿して成果発表を行った（薗頭ら, “Open-setシーングラフ生成のための物体間の関係を考慮した未知物体検出,” 画像の認識・理解シンポジウム, 2023年7月）．
また昨年度1月には未知物体検出についての成果を国際論文誌Pattern Recognition Lettersに投稿したが，今年度11月に査読結果を受けて12月に改訂稿を提出し，引き続き対応中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究で取り組む3つの技術的課題のうち，評価プロトコルと未知物体検出の2つは既に完了し，後者の成果は論文投稿中である．また最後の課題である未知物体の関係検出も，基本的な技術の開発は完了している．
|
| Strategy for Future Research Activity |
次年度は，未知物体の関係検出の更なる実験および改良による性能向上を目指す．具体的にはラベル欠損等によって生じたデータセット中の未使用ラベルの活用による半教師あり学習のアプローチを導入することを予定している．また昨年度の研究についての論文の査読対応を継続しつつ，今年度の研究成果の論文化も目指す．
|
