研究課題
本研究の目的は，３Dモデリングを応用・発展することで， 大量・様々な画像が空間・時間的に有機的に結びつきながら拡張する画像データベースを構築するとともに，それらの情報を効果的に提示するシステムを実現することにある．その手段として，特徴マッチング，多眼ステレオマッチング，画像記述子マッチングを一般化した，「ビジュアルマッチング」という新たな枠組みを提案し，その枠組みにもとづいて研究を行う．平成２８年度は，撮影した画像の空間・時間的な隔たりによって生じる画像間での見た目の変化に対して，特徴マッチング，自己位置認識アルゴリズムがどのように影響受けるかを評価するためのデータセット作成を進めた．評価用データセットでは，市街地で撮影した画像の位置と向きの真値，つまり，地図座標系における位置と向きが必要である．位置情報つき画像データベースを利用し，人手を介して，撮影した画像とデータベース中の画像間での対応付けを行うことで，真値として扱えるデータ作成を進めた．並行して，新しい画像特徴量としてにわかに注目を集めているCNN特徴量について，研究開発を行った．CNN特徴量を発展させた新しい画像表現手法を提案し，特に大規模位置認識問題（画像記述子マッチング）において，有効であることが確認できた．その成果は高く評価され，コンピュータビジョンにおけるトップカンファレンスに採録され発表した．また，多眼ステレオマッチングにおけるアルゴリズムの発展として，多視点による拘束を用いつつ，光源や反射率も同時に推定することで，高精度にサーフェス生成（画素レベルでのマッチング）を行うアルゴリズムを開発した．このアルゴリズムについても，その斬新さが認められコンピュータビジョンにおけるトップカンファレンスに採録され発表を行った．
2: おおむね順調に進展している
研究プロジェクト２年目として，ビジュアルマッチングを構成する新しいアルゴリズム開発，それら性能評価を進めた．CNN特徴量を発展した画像表現と画像マッチング，高精度サーフェス生成（画素レベルでのマッチング）におけるアルゴリズムなどの成果を，学術論文，トップカンファレンスを通して発表していることから，研究は順調に進んでいるといえる．本プロジェクトにおいて，大きな貢献のひとつとなる評価用データセットについての準備も進んでおり，評価用データセットを用いた様々なベンチマーク結果をまとめた論文を投稿，発表予定である．研究協力者であるTomas Pajdla, Josef Sivicらとは，引き続き２週に１度程度でビデオ会議を行い，研究，実験に関する議論，評価用データセットに検証を進めている．
平成２９年度は，撮影した画像の空間・時間的な隔たりによって生じる画像間での見た目の変化に対して，特徴マッチング，自己位置認識アルゴリズムがどのように影響受けるかを評価するためのデータセットを作成を継続する．このデータに関しては，用意が整い次第評価用データセットとして公開予定である．そして，評価用データセットを用いた様々なベンチマーク結果をまとめた論文を投稿，発表予定である．画像レベル，特徴レベル，画素レベルでのマッチングを融合したアルゴリズムについても，検討，開発を継続し，その成果について，まとまり次第発表する予定である．並行して，データセット公開に向けて，ウェブサーバー，ワークステーションなど環境設備を増備する予定である．
すべて 2016 その他
すべて 国際共同研究 (3件) 雑誌論文 (4件) (うち国際共著 1件、 査読あり 4件、 謝辞記載あり 4件) 学会発表 (3件) 備考 (2件)
IIEEJ Transactions on Image Electronics and Visual Computing
巻: Vol.4, No.2 ページ: 84-94
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition
巻: - ページ: 5297-5307
10.1109/CVPR.2016.572
Proceedings of The 14th European Conference on Computer Vision
巻: 3 ページ: 750-767
10.1007/978-3-319-46487-9_46
Proceedings of the 23rd International Conference on Pattern Recognition
巻: - ページ: 1954-1959
10.1109/ICPR.2016.7899922
http://www.ok.ctrl.titech.ac.jp/~torii/project/mvir/
http://www.di.ens.fr/willow/research/netvlad/
