• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実績報告書

モバイル環境におけるRGBDカメラを用いた3次元モデル生成と複合現実感への応用

研究課題

研究課題/領域番号 16H02851
研究機関国立情報学研究所

研究代表者

杉本 晃宏  国立情報学研究所, コンテンツ科学研究系, 教授 (30314256)

研究分担者 大石 岳史  東京大学, 生産技術研究所, 准教授 (80569509)
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード3次元モデル / 複合現実感 / モバイル環境 / コンピュータビジョン
研究実績の概要

携帯型端末の普及・性能向上、RGBDカメラの小型化・廉価化により、エンドユーザがモバイル環境で3Dデータを手軽に入手し加工できる環境が整いつつあり、3次元モデル生成の重要性が高まっている。モバイル環境におけるRGBDカメラを用いた3次元モデル生成には、省メモリ化、高精度、リアルタイム処理が必要不可欠であるが、これらすべてを満たすモデル生成技術は存在しない。本研究課題では、携帯型端末に搭載されたRGBDカメラからのストリーミングデータを入力とし、リアルタイムに省メモリで3次元モデルを高精度に生成する技術を開発し、複合現実感に応用することでその有効性を示すことを目指している。

平成28年度は、屋内の大規模環境の3次元モデルの実時間生成を目指して、最適あてはめ平面の効率的探索、計測データ統合の高精度化、復元環境の大規模化に伴う3次元モデルのひずみを抑える位置合せとデータ統合、に取り組んだ。その結果、入力のストリーミングデータを時系列に小セグメントに分割し、各セグメントごとに独立に3次元局所モデルを生成し、モデルひずみを抑えつつ局所モデルを統合して大局モデルを生成する手法を開発した。この手法では、平面領域の集合で3次元モデルを表現し、実時間(20~25fps)での高精度な3次元モデル生成を実現している。実験によって、図書室(およそ60m x 5m x 2.5m の規模)の3次元モデル化を実証した。また、屋外AR・MRにおいて位置姿勢推定、遮蔽処理に必要となる周辺環境の3次元デジタルデータを取得するため、モバイルプラットフォームにLiDARおよび全方位カメラを搭載した高精度、高密度計測システムを開発した。また移動しながら撮影した連続全方位映像からシーンの奥行きを推定し、さらにユーザに指定された物体をシーン映像中から除去する手法を開発した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

平成28年度に予定していた研究項目に対して、おおむね当初の見込み通りの研究成果を上げている。なお、3次元モデル表現に関しては、当初の予定を修正するアプローチの方が柔軟性があり、動的環境にも対応可能であるとの見通しを得、3次元モデル表現に関する新たな展開を見出すことができた。

今後の研究の推進方策

研究計画に沿って、3次元モデル表現の改良とモバイル環境下での複合現実感への応用に取り組む。なお、平成28年度の検討によって、区分平面による3次元モデル表現に関しては、処理時間の観点から必ずしも適さないアプローチであることが判明し、先に点群の領域分割を行い、分割された領域ごとに平面パッチ表現を行うことでこの問題は解決されるとともに、動的環境にも対応可能であるとの見通しを得たので、動的環境手の対応を念頭に置いた3次元モデル表現の改良を推進する。

  • 研究成果

    (16件)

すべて 2017 2016 その他

すべて 国際共同研究 (1件) 雑誌論文 (6件) (うち国際共著 1件、 査読あり 6件、 謝辞記載あり 3件) 学会発表 (9件) (うち国際学会 9件)

  • [国際共同研究] チェコ工科大(チェコ)

    • 国名
      チェコ
    • 外国機関名
      チェコ工科大
  • [雑誌論文] Parametric Surface Representation with Bump Image for Dense 3D Modeling Using an RBG-D Camera2017

    • 著者名/発表者名
      D. Thomas and A. Sugimoto
    • 雑誌名

      International Journal of Computer Vision

      巻: 印刷中 ページ: 印刷中

    • DOI

      10.1007/s11263-016-0969-3

    • 査読あり / 謝辞記載あり
  • [雑誌論文] Modeling large-scale indoor scenes with rigid fragments using RGB-D cameras2017

    • 著者名/発表者名
      D. Thomas and A. Sugimoto
    • 雑誌名

      Computer Vision and Image Understanding

      巻: 印刷中 ページ: 印刷中

    • DOI

      10.1016/j.cviu.2016.11.008

    • 査読あり
  • [雑誌論文] Degeneracies in Rolling Shutter SfM2016

    • 著者名/発表者名
      C. Albl, A. Sugimoto, and T. Pajdla
    • 雑誌名

      Proc. of European Conference on Computer Vision (ECCV2016)

      巻: Part V (LNCS Vol. 9909) ページ: 36-51

    • DOI

      10.1007/978-3-319-46454-1_3

    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Room Reconstruction from a Single Spherical Image by Higher-order Energy Minimization2016

    • 著者名/発表者名
      K. Fukano, Y. Mochizuki, S. Iizuka, E. Simo-Sera, A. Sugimoto, and H. Ishikawa
    • 雑誌名

      Proc. of International Conference on Pattern Recognition (ICPR2016)

      巻: 1 ページ: 1768-1773

    • 査読あり
  • [雑誌論文] A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on a Rover2016

    • 著者名/発表者名
      R. Ishikawa, M. Roxas, Y. Sato, T. Oishi, T. Masuda, K. Ikeuchi
    • 雑誌名

      Proc. International Conference on 3D Vision (3DV2016)

      巻: 1 ページ: 620-628

    • DOI

      10.1109/3DV.2016.70

    • 査読あり / 謝辞記載あり
  • [雑誌論文] Outdoor Omnidirectional Video Completion via Depth Estimation by Motion Analysis2016

    • 著者名/発表者名
      C. Morales, S. Ono, Y. Okamoto, M. Roxas, T. Oishi and K. Ikeuchi
    • 雑誌名

      Proc. of International Conference on Pattern Recognition (ICPR2016)

      巻: 1 ページ: 3934-3939

    • 査読あり
  • [学会発表] Variational Optical Flow with 3D Smoothness Constraint for a Single Moving Camera2016

    • 著者名/発表者名
      Menandro Roxas, Tomoki Hori, and Takeshi Oishi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] Panoramic Video Completion from Depth Recovery by Pixel Motion Assessment2016

    • 著者名/発表者名
      Carlos Morales, Shintaro Ono, Yasuhide Okamoto, Menandro Roxas, Takeshi Oishi and Katsushi Ikeuchi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] A Sensor Fusion 3D Reconstruction System using Depth-based Triangulation and Multimodal Registration2016

    • 著者名/発表者名
      Ryoichi Ishikawa, Menandro Roxas, Yoshihiro Sato, Takeshi Oishi, Takeshi Masuda, Katsushi Ikeuchi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] Occlusion Handling by Semantic Segmentation and Transparency Blending for Outdoor Mixed Reality2016

    • 著者名/発表者名
      Tomoki Hori, Taiki Fukiage, Roxas Menandro, Yasuhide Okamato and Takeshi Oishi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] Robust Motion Estimation for MR Mobility System with Multiple Panoramic Cameras2016

    • 著者名/発表者名
      Yasuhide Okamoto, Kosuke Fujimoto, Takeshi Oishi and Katsushi Ikeuchi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] Room Reconstruction from a Single Spherical Image by Higher-order Energy Minimization2016

    • 著者名/発表者名
      K. Fukano, Y. Mochizuki, S. Iizuka, E. Simo-Sera, A. Sugimoto, and H. Ishikawa
    • 学会等名
      International Conference on Pattern Recognition
    • 発表場所
      カンクン(メキシコ)
    • 年月日
      2016-12-04 – 2016-12-08
    • 国際学会
  • [学会発表] Outdoor Omnidirectional Video Completion via Depth Estimation by Motion Analysis2016

    • 著者名/発表者名
      C. Morales, S. Ono, Y. Okamoto, M. Roxas, T. Oishi and K. Ikeuchi
    • 学会等名
      International Conference on Pattern Recognition
    • 発表場所
      カンクン(メキシコ)
    • 年月日
      2016-12-04 – 2016-12-08
    • 国際学会
  • [学会発表] A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on a Rover2016

    • 著者名/発表者名
      R. Ishikawa, M. Roxas, Y. Sato, T. Oishi, T. Masuda, K. Ikeuchi
    • 学会等名
      International Conference on 3D Vision
    • 発表場所
      スタンフォード(アメリカ)
    • 年月日
      2016-10-25 – 2016-10-28
    • 国際学会
  • [学会発表] Degeneracies in Rolling Shutter SfM2016

    • 著者名/発表者名
      C. Albl, A. Sugimoto, and T. Pajdla
    • 学会等名
      European Conference on Computer Vision
    • 発表場所
      アムステルダム(オランダ)
    • 年月日
      2016-10-08 – 2016-10-16
    • 国際学会

URL: 

公開日: 2018-01-16   更新日: 2022-10-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi