| 研究課題/領域番号 |
23K21708
|
|---|
| 補助金の研究課題番号 |
21H03519 (2021-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2021-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61050:知能ロボティクス関連
|
|---|
| 研究機関 | 国立研究開発法人理化学研究所 |
|---|
研究代表者 |
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
|
|---|
| 研究分担者 |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
出口 大輔 名古屋大学, 情報学研究科, 准教授 (20437081)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| 研究課題ステータス |
採択後辞退 (2024年度)
|
| 配分額 *注記 |
15,340千円 (直接経費: 11,800千円、間接経費: 3,540千円)
2024年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2023年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
2022年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
2021年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
|
|---|
| キーワード | 未知物体 / シーングラフ / 時空間 / 検出 / 追跡 / Zero-shot / Open-vocabulary / 拡張時空間シーングラフ / 未知物体検出 / 未知物体対応付け / セグメンテーション / キャプショニング / データセット生成 |
|---|
| 研究開始時の研究の概要 |
人間は，知らない物体を見たとき，それが何かわからなくても何らかの物体であると認識でき， それを覚えておいて次に見たときに同一物体だと対応付けることもできる．しかし，ロボットは 物体検出器が学習した物体しか検出できず，異なる時刻での観測同士を対応付けることもできな い．本提案では，未知物体も扱える時空間の記述(拡張時空間シーングラフ)の仕組みを作った うえで，未知物体を含めた環境中の物体検出法及び，それらを時間方向に対応付けて拡張時空間 シーングラフを自動的に構築する手法に取り組む．これにより，ロボットによる時空間的に一貫 した環境理解を実現することを目指す．
|
| 研究実績の概要 |
今年度は，昨年度の成果を発展させ，未知事象を含む時空間の高度な認識手法・時間的対応付け手法の開発に取り組んだ．
未知事象の認識としては，コップなど特定のカテゴリ内において未知の形状をした物体の姿勢推定技術を提案した．また，認識器にとって未学習の領域をセグメンテーションする手法（Zero-shotセグメンテーション）及び，未学習の行動を検出する手法（Open-vocabulary行動検出）も提案した．これにより，未知事象が存在しても，それらを含むシーンを記述できる仕組みを実現した．また，未知物体を検出した際に，その物体を詳細に観測し，多くの情報を抽出するために，対象物を撮影した少数枚の画像から物体の3次元形状を理解するFew-shot NeRF手法（ManifoldNeRF）を提案した．
一方，物体の時間的対応付けとしては，時間的に連続するフレームでの対応付けと，異なるシーンでの対応付けに大別し，それぞれの課題に取り組んだ．時間的に連続するフレームでの対応付けとして，特に映像中で小さく写った物体に対する追跡手法を提案した．また，異なるシーンでの対応付けとして，シーングラフを利用して複数の画像の情報を要約する手法を提案した．さらに，その要約結果として要約シーングラフを出力する方法及び，その画像キャプショニングへの応用手法を提案した．
基盤Aの前年度申請の採択により，本研究課題は今年度で終了するが，拡張時空間シーングラフ構築の要素技術を確立し，当初予定していたよりも多くの研究成果が得られた．
|
| 現在までの達成度 (段落) |
令和5年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和5年度が最終年度であるため、記入しない。
|
