|
本年度は昨年度から継続しているシーンの変化検出・変化説明文生成の研究に加え、視点を考慮した3Dキャプショニングの研究に取り組んだ。
シーンの変化検出では、物体検出とグラフマッチングネットワークを統合した手法を改良し、自動運転用シミュレータCARLA simulatorを用いて作成・公開したSynthesized Object-Level Change Detection (SOCD)データセットで有効性を確認した。本研究は国際ジャーナルRemote Sensing (IF 5.349)に採択された。
また、シーンの変化説明文生成に関して、手法の改良や評価等に継続して取り組んだ。CARLA simulatorで生成した画像に対し変化説明文を付与したシーン変化の画像説明文データセットで評価を行い、背景が複雑なシーンに対して提案手法がより頑健であることを確認した。本研究は、画像の認識・理解シンポジウム（MIRU2022）でロングオーラル発表に採択され、MIRU優秀賞を受賞した。さらに、実画像に対してもシーン変化の説明文を付与したデータセットを作成し、実環境におけるシーン変化の多様性等を分析した。
視点を考慮した3Dキャプショニングの研究では、入力された3D点群と視点に対してシーンの説明文を生成する手法の開発に取り組んだ。従来手法では生成文の基準視点が考慮されていないため、ユーザーの想定した視点と関係なく説明文を生成していた。この問題を解決するため、視点情報を入力に組み込む機構、説明対象物体と位置基準物体を区別してエンコードする機構を導入することで、視点に応じた説明文の生成を可能とした。
|
