多様な画像と空間を有機的につなげる・ひろげる・見せるためのビジュアルマッチング

• Project/Area Number: 15H05313
• Research Category: Grant-in-Aid for Young Scientists (A)
• Allocation Type: Single-year Grants
• Research Field: Perceptual information processing
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 鳥居 秋彦 東京工業大学, 工学院, 助教 (20585179)
• Project Period (FY): 2015-04-01 – 2019-03-31
• Project Status: Granted (Fiscal Year 2018)
• Budget Amount: ¥23,660,000 (Direct Cost: ¥18,200,000、Indirect Cost: ¥5,460,000); Fiscal Year 2018: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2017: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000); Fiscal Year 2016: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2015: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
• Keywords: コンピュータビジョン / 特徴マッチング / 画像マッチング / 3次元復元 / 画像検索

Outline of Annual Research Achievements

本研究の目的は，３Dモデリングを応用・発展することで，大量・様々な画像が空間・時間的に有機的に結びつきながら拡張する画像データベースを構築するとともに，それらの情報を効果的に提示するシステムを実現することにある．その手段として，特徴マッチング，多眼ステレオマッチング，画像記述子マッチングを一般化した，「ビジュアルマッチング」という新たな枠組みを提案し，その枠組みにもとづいて研究を行う．

平成２９年度は，これまでに構築したビジュアルマッチングアルゴリズム評価用のデータセットをまとめ，特に，屋外広範囲でのカメラ位置姿勢推定問題における様々なアルゴリズムのベンチマークを行った．本研究を通して作成したデータセット，ベンチマークは共に高く評価されコンピュータビジョンにおけるトップカンファレンスに採録され発表を行った．

並行して，新しい画像特徴量としてにわかに注目を集めているCNN特徴量を応用した画像・特徴マッチングシステムの開発を行い，その一部が室内環境におけるカメラ位置姿勢推定に効果的であることを示した．その成果も高く評価され，コンピュータビジョンにおけるトップカンファレンスに採録され発表を予定している．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の主な貢献のひとつである評価用データセットについての構築は着実に進んでいる．評価用データセットの一部を用いた様々なベンチマーク結果をまとめた国際会議発表もすでに行っている．また，ビジュアルマッチングを構成するアルゴリズムの発展，それら性能評価も進んでいる．学術論文，トップカンファレンスを通して継続して発表していることから，研究は順調に進んでいるといえる．

Strategy for Future Research Activity

平成３０年度は，評価用データセットの公開準備，ベンチマーク用のオンライン評価サーバーを構築予定である．最終年度として，これまでの成果を発展しつつ，論文誌発表などの形でまとめる予定である．

Research Products

• [Int'l Joint Research] INRIA(フランス)
• [Int'l Joint Research] チェコ工科大学(チェコ)
• [Int'l Joint Research] チューリッヒ工科大学(スイス)
• [Int'l Joint Research] オクスフォード大学(英国)
• [Int'l Joint Research] Czech Technical University in Prague(チェコ)
• [Int'l Joint Research] INRIA(France)
• [Int'l Joint Research] ETH in Zurich(スイス)
• [Int'l Joint Research] Czech Technical University in Prague(チェコ)
• [Int'l Joint Research] INRIA(France)
• [Int'l Joint Research] ETH Zurich(Switzerland)
• [Journal Article] 24/7 Place Recognition by View Synthesis (2018)
  • Author(s): Torii Akihiko、Arandjelovic Relja、Sivic Josef、Okutomi Masatoshi、Pajdla Tomas
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 40 Issue: 2 Pages: 257-271
  • DOI: 10.1109/tpami.2017.2667665
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Joint Estimation of Depth, Albedo, and Illumination from a Single RGB-D Image (2016)
  • Author(s): Kichang Kim, Akihiko Torii, Masatoshi Okutomi
  • Journal Title: IIEEJ Transactions on Image Electronics and Visual Computing Volume: Vol.4, No.2 Pages: 84-94
  • NAID: 40021142588
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] NetVLAD: CNN architecture for weakly supervised place recognition (2016)
  • Author(s): Relja Arandjelovic, Petr Gronat, Akihiko Torii, Tomas Pajdla, Josef Sivic
  • Journal Title: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Volume: - Pages: 5297-5307
  • DOI: 10.1109/cvpr.2016.572
  • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
• [Journal Article] Multi-View Inverse Rendering under Arbitrary Illumination and Albedo (2016)
  • Author(s): Kichang Kim, Akihiko Torii, Masatoshi Okutomi
  • Journal Title: Proceedings of The 14th European Conference on Computer Vision Volume: 3 Pages: 750-767
  • DOI: 10.1007/978-3-319-46487-9_46
  • ISBN: 9783319464862, 9783319464879
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Robust Feature Matching by Learning Descriptor Covariance with Viewpoint Synthesis (2016)
  • Author(s): Hajime Taira, Akihiko Torii, Masatoshi Okutomi
  • Journal Title: Proceedings of the 23rd International Conference on Pattern Recognition Volume: - Pages: 1954-1959
  • DOI: 10.1109/icpr.2016.7899922
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 仮想視点生成によるパノラマ画像データベース拡張と位置・方位推定 (2016)
  • Author(s): 董亜飛, 鳥居秋彦, 奥富正敏
  • Journal Title: 電子情報通信学会論文誌D Volume: 99-D(8) Pages: 1-5
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 全体最適性を保証した逐次的３次元サーフェス抽出法 (2015)
  • Author(s): 杉浦貴行, 鳥居秋彦, 奥富正敏
  • Journal Title: 電子情報通信学会論文誌D Volume: 98-D(4) Pages: 616-626
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Robust Feature Matching for Distorted Projection by Spherical Cameras (2015)
  • Author(s): Hajime Taira, Yuki Inoue, Akihiko Torii and Masatoshi Okutomi
  • Journal Title: IPSJ Transactions on Computer Vision and Applications Volume: 7 Issue: 0 Pages: 84-88
  • DOI: 10.2197/ipsjtcva.7.84
  • NAID: 130005091221
  • ISSN: 1882-6695
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Visual Place Recognition with Repetitive Structures (2015)
  • Author(s): Akihiko Torii, Josef Sivic, Masatoshi Okutomi and Tomas Pajdla
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 37(11) Issue: 11 Pages: 2346-2359
  • DOI: 10.1109/tpami.2015.2409868
  • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
• [Journal Article] 3D Reconstruction by SfM Using Spherical Panoramas and Its Application to Image Based Position-direction Estimation (2015)
  • Author(s): 井上優希, 董亜飛, 田平創, 鳥居秋彦, 奥富正敏
  • Journal Title: Journal of the Japan Society for Precision Engineering Volume: 81 Issue: 12 Pages: 1173-1179
  • DOI: 10.2493/jjspe.81.1173
  • NAID: 130005111869
  • ISSN: 0912-0289, 1882-675X
  • Peer Reviewed / Open Access
• [Presentation] Multi-View Inverse Renderingによる高精細な３次元復元 (2017)
  • Author(s): 鳥居秋彦, 金杞昌, 奥富正敏
  • Organizer: 第23回画像センシングシンポジウム（SSII2017）
• [Presentation] SfMを用いた都市3Dモデルに対するカメラ位置姿勢推定 (2017)
  • Author(s): 加賀美翔, 田平創, 鳥居秋彦, 奥富正敏
  • Organizer: 情報処理学会研究報告(コンピュータビジョンとイメージメディア(CVIM))
• [Presentation] Are Large-Scale 3D Models Really Necessary for Accurate Visual Localization? (2017)
  • Author(s): Torsten Sattler, Akihiko Torii, Josef Sivic, Marc Pollefeys, Hajime Taira, Masatoshi Okutomi and Tomas Pajdla
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition (CVPR2017)
• [Presentation] 高速オンライン／高精細オフライン3D画像センシング (2016)
  • Author(s): 鳥居秋彦, 石黒耀, ファン ゾァン フク, 杉本茂樹, 奥富正敏
  • Organizer: 第27回計量計測展(Intermeasure2016)アカデミープラザ
  • Place of Presentation: 東京ビッグサイト
  • Year and Date: 2016-09-28
• [Presentation] ドローンを用いた準実時間3D画像センシングシステム (2016)
  • Author(s): 石黒耀, 井上優希, 杉本茂樹, 鳥居秋彦, 奥富正敏
  • Organizer: 第22回画像センシングシンポジウム
  • Place of Presentation: パシフィコ横浜
• [Presentation] 視点変化に伴う特徴量変動の事前学習による頑健な特徴マッチング (2016)
  • Author(s): 田平創, 鳥居秋彦, 奥富正敏
  • Organizer: 第19回画像の認識・理解シンポジウム
  • Place of Presentation: アクトシティ浜松
• [Presentation] 3D surface reconstruction from point-and-line cloud (2015)
  • Author(s): Takayuki Sugiura, Akihiko Torii and Masatoshi Okutomi
  • Organizer: International Conference on 3D Vision (3DV2015)
  • Place of Presentation: Lyon, France
  • Year and Date: 2015-10-19
  • Int'l Joint Research
• [Presentation] 24/7 place recognition by view synthesis (2015)
  • Author(s): Akihiko Torii, Relja Arandjelovic, Josef Sivic, Masatoshi Okutomi and Tomas Pajdla
  • Organizer: IEEE Conference on Computer Vision and Pattern Recognition (CVPR2015)
  • Place of Presentation: Boston, Massachusetts, USA
  • Year and Date: 2015-06-08
  • Int'l Joint Research
• [Presentation] View Extension for Teleoperated MAV (2015)
  • Author(s): Ren Foo Lim, Akihiko Torii and Masatoshi Okutomi
  • Organizer: The IAPR International Conference on Machine Vision Applications (MVA2015)
  • Place of Presentation: Tokyo, Japan
  • Year and Date: 2015-05-18
  • Int'l Joint Research
• [Book] 三次元画像センシングの新展開 (2015)
  • Author(s): 鳥居秋彦, 奥富正敏 他著, 岩堀祐之 監修
  • Total Pages: 402
  • Publisher: NTS
• [Remarks] ローカリゼーションベンチマーク プロジェクトページ
  • URL: http://www.ok.sc.e.titech.ac.jp/~torii/project/vlocalization/
• [Remarks] Multi-View Inverse Rendering
  • URL: http://www.ok.ctrl.titech.ac.jp/~torii/project/mvir/
• [Remarks] NetVLAD
  • URL: http://www.di.ens.fr/willow/research/netvlad/
• [Remarks] Online 3D reconstruction project
  • URL: https://sites.google.com/site/online3drjp/
• [Remarks] 24/7 Place Recognition by View Synthesis
  • URL: http://www.ok.ctrl.titech.ac.jp/~torii/project/247/
• [Remarks] Large-scale visual place recognition
  • URL: https://sites.google.com/site/lsvpr2015/