2022 Fiscal Year Annual Research Report
| Project/Area Number |
20H04217
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
櫻田 健 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高村 大也 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 変化検出 / 変化説明文生成 / 視点 / 3Dキャプショニング |
|---|
| Outline of Annual Research Achievements |
本年度は昨年度から継続しているシーンの変化検出・変化説明文生成の研究に加え、視点を考慮した3Dキャプショニングの研究に取り組んだ。
シーンの変化検出では、物体検出とグラフマッチングネットワークを統合した手法を改良し、自動運転用シミュレータCARLA simulatorを用いて作成・公開したSynthesized Object-Level Change Detection (SOCD)データセットで有効性を確認した。本研究は国際ジャーナルRemote Sensing (IF 5.349)に採択された。
また、シーンの変化説明文生成に関して、手法の改良や評価等に継続して取り組んだ。CARLA simulatorで生成した画像に対し変化説明文を付与したシーン変化の画像説明文データセットで評価を行い、背景が複雑なシーンに対して提案手法がより頑健であることを確認した。本研究は、画像の認識・理解シンポジウム（MIRU2022）でロングオーラル発表に採択され、MIRU優秀賞を受賞した。さらに、実画像に対してもシーン変化の説明文を付与したデータセットを作成し、実環境におけるシーン変化の多様性等を分析した。
視点を考慮した3Dキャプショニングの研究では、入力された3D点群と視点に対してシーンの説明文を生成する手法の開発に取り組んだ。従来手法では生成文の基準視点が考慮されていないため、ユーザーの想定した視点と関係なく説明文を生成していた。この問題を解決するため、視点情報を入力に組み込む機構、説明対象物体と位置基準物体を区別してエンコードする機構を導入することで、視点に応じた説明文の生成を可能とした。
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
| Remarks |
MIRU優秀賞受賞
|
