• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

モバイル環境におけるRGBDカメラを用いた3次元モデル生成と複合現実感への応用

研究課題

研究課題/領域番号 16H02851
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 知覚情報処理
研究機関国立情報学研究所

研究代表者

杉本 晃宏  国立情報学研究所, コンテンツ科学研究系, 教授 (30314256)

研究分担者 大石 岳史  東京大学, 生産技術研究所, 准教授 (80569509)
研究協力者 パジェドラ トマス  
トマ ディエゴ  
研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
15,990千円 (直接経費: 12,300千円、間接経費: 3,690千円)
2018年度: 6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2017年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
2016年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
キーワード3次元モデル / 複合現実感 / モバイル環境 / コンピュータビジョン / 3次元モデル
研究成果の概要

モバイル環境にあるRGBDカメラから得られるストリーミングデータを入力として、リアルタイムに省メモリで3次元モデルを高精度に生成する技術の開発を目指し、パラメトリックな曲面による3次元モデル表現とモデルあてはめ、正確で頑健な奥行データ統合法を開発し、大規模な3次元モデルを実時間で生成することが可能となった。また、屋外環境における複合現実感への応用を示した。

研究成果の学術的意義や社会的意義

省メモリでリアルタイムに3次元モデルを高精度に生成する技術は、スマートフォンの写真撮影や映像撮影の要領で、エンドユーザがだれでも思い立った時にその場で、簡単にリアルタイムで3次元モデルを生成し、それを手軽に楽しめる環境を提供するものである。通信技術と連携することで、訪問が困難な博物館に保管された展示物や未公開遺産のモデル化・伝送を通じた文化遺産の3次元情報発信、遠隔講義おける教材提供の充実、3次元地図データ生成などへの応用が見込まれる。

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実績報告書
  • 2016 実績報告書
  • 研究成果

    (48件)

すべて 2019 2018 2017 2016 その他

すべて 国際共同研究 (5件) 雑誌論文 (18件) (うち国際共著 5件、 査読あり 18件、 オープンアクセス 2件、 謝辞記載あり 3件) 学会発表 (25件) (うち国際学会 24件、 招待講演 1件)

  • [国際共同研究] Czech Technical University(チェコ)

    • 関連する報告書
      2018 実績報告書
  • [国際共同研究] National Tsing Hua University(台湾)

    • 関連する報告書
      2018 実績報告書
  • [国際共同研究] University College London(英国)

    • 関連する報告書
      2017 実績報告書
  • [国際共同研究] トリノ大(イタリア)

    • 関連する報告書
      2017 実績報告書
  • [国際共同研究] チェコ工科大(チェコ)

    • 関連する報告書
      2016 実績報告書
  • [雑誌論文] Semantic Instance Meets Salient Object: Study on Video Semantic Salient Instance Segmentation2019

    • 著者名/発表者名
      T.-N. Le and A. Sugimoto
    • 雑誌名

      Proc. of IEEE Winter Conference on Applications of Computer Vision

      巻: 1 ページ: 1779-1788

    • DOI

      10.1109/wacv.2019.00194

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] SegmentedFusion: 3D Human Body Reconstruction using Stitched Bounding Boxes2018

    • 著者名/発表者名
      Y. Shih-Hsuan, D. Thomas, A. Sugimoto, S.-H. Lai, and R. Taniguchi
    • 雑誌名

      Proc. of The 6th International Conference on 3D Vision

      巻: 1 ページ: 190-198

    • DOI

      10.1109/3dv.2018.00031

    • 関連する報告書
      2018 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Video Salient Object Detection Using Spatiotemporal Deep Features2018

    • 著者名/発表者名
      T.-N. Le and A. Sugimoto
    • 雑誌名

      IEEE Trans. on Image Processing

      巻: 27 号: 10 ページ: 5002-5015

    • DOI

      10.1109/tip.2018.2849860

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Linear Solution to the Minimal Absolute Pose Rolling Shutter Problem2018

    • 著者名/発表者名
      Zuzana Kukelova, Cenek Albl, Akihiro Sugimoto, and Tomas Pajdla
    • 雑誌名

      Proc. of Asian Conference on Computer Vision

      巻: 1

    • 関連する報告書
      2018 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Occlusion Handling using Semantic Segmentation and Visibility-Based Rendering for Mixed Reality2018

    • 著者名/発表者名
      M. Roxas, T. Hori, T. Fukiage, Y. Okamoto, T. Oishi
    • 雑誌名

      Proc. of 24th ACM Symposium on Virtual Reality Software and Technology

      巻: 1 ページ: 1-8

    • DOI

      10.1145/3281505.3281546

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry2018

    • 著者名/発表者名
      R. Ishikawa, T. Oishi, K. Ikeuchi
    • 雑誌名

      Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems

      巻: 1 ページ: 7342-7349

    • DOI

      10.1109/iros.2018.8593360

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Real-Time Simultaneous 3D Reconstruction and Optical Flow Estimation2018

    • 著者名/発表者名
      M. Roxas and T. Oishi
    • 雑誌名

      IEEE Winter Conference on Applications of Computer Vision (WACV)

      巻: 1

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Fast 3D Point Cloud Segmentation using Supervoxels with Geometry and Color for 3D Scene Understanding2017

    • 著者名/発表者名
      F. Verdoja, D. Thomas, and A. Sugimoto
    • 雑誌名

      Proc. of IEEE International Conference on Multimedia and Expo (ICME2017)

      巻: 1 ページ: 1285-1290

    • 関連する報告書
      2017 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Deeply Supervised 3D Recurrent FCN for Salient Object Detection in Videos2017

    • 著者名/発表者名
      T.-N. Le, and A. Sugimoto
    • 雑誌名

      Proc. of British Machine Vision Conference (BMVC2017)

      巻: 1

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Efficiently Updating Feasible Regions for Fitting Discrete Polynomial Curve2017

    • 著者名/発表者名
      F. Sekiya and A. Sugimoto
    • 雑誌名

      Proc. of 20th International Conference on Discrete Geometry for Computer Imagery (DGCI2017)

      巻: LNCS 10502 ページ: 254-266

    • DOI

      10.1007/978-3-319-66272-5_21

    • ISBN
      9783319662718, 9783319662725
    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Synthesis of Environment Maps for Mixed Reality2017

    • 著者名/発表者名
      D. R. Walton, D. Thomas, A. Steed, and A. Sugimoto
    • 雑誌名

      Proc. of IEEE International Symposium on Mixed and Augmented Reality (ISMAR2017)

      巻: 1 ページ: 72-81

    • DOI

      10.1109/ismar.2017.24

    • 関連する報告書
      2017 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] On Properties of Analytical Approximation of Morphological Discretization for 2D curve and 3D surface2017

    • 著者名/発表者名
      F. Sekiya and A. Sugimoto
    • 雑誌名

      Mathematical Morphology: Theory and Applications

      巻: 2 ページ: 25-34

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Parametric Surface Representation with Bump Image for Dense 3D Modeling Using an RBG-D Camera2017

    • 著者名/発表者名
      D. Thomas and A. Sugimoto
    • 雑誌名

      International Journal of Computer Vision

      巻: 印刷中 号: 2 ページ: 206-225

    • DOI

      10.1007/s11263-016-0969-3

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Modeling large-scale indoor scenes with rigid fragments using RGB-D cameras2017

    • 著者名/発表者名
      D. Thomas and A. Sugimoto
    • 雑誌名

      Computer Vision and Image Understanding

      巻: 印刷中 ページ: 103-116

    • DOI

      10.1016/j.cviu.2016.11.008

    • 関連する報告書
      2016 実績報告書
    • 査読あり
  • [雑誌論文] Degeneracies in Rolling Shutter SfM2016

    • 著者名/発表者名
      C. Albl, A. Sugimoto, and T. Pajdla
    • 雑誌名

      Proc. of European Conference on Computer Vision (ECCV2016)

      巻: Part V (LNCS Vol. 9909) ページ: 36-51

    • DOI

      10.1007/978-3-319-46454-1_3

    • ISBN
      9783319464534, 9783319464541
    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Room Reconstruction from a Single Spherical Image by Higher-order Energy Minimization2016

    • 著者名/発表者名
      K. Fukano, Y. Mochizuki, S. Iizuka, E. Simo-Sera, A. Sugimoto, and H. Ishikawa
    • 雑誌名

      Proc. of International Conference on Pattern Recognition (ICPR2016)

      巻: 1 ページ: 1768-1773

    • 関連する報告書
      2016 実績報告書
    • 査読あり
  • [雑誌論文] A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on a Rover2016

    • 著者名/発表者名
      R. Ishikawa, M. Roxas, Y. Sato, T. Oishi, T. Masuda, K. Ikeuchi
    • 雑誌名

      Proc. International Conference on 3D Vision (3DV2016)

      巻: 1 ページ: 620-628

    • DOI

      10.1109/3dv.2016.70

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Outdoor Omnidirectional Video Completion via Depth Estimation by Motion Analysis2016

    • 著者名/発表者名
      C. Morales, S. Ono, Y. Okamoto, M. Roxas, T. Oishi and K. Ikeuchi
    • 雑誌名

      Proc. of International Conference on Pattern Recognition (ICPR2016)

      巻: 1 ページ: 3934-3939

    • 関連する報告書
      2016 実績報告書
    • 査読あり
  • [学会発表] Semantic Instance Meets Salient Object: Study on Video Semantic Salient Instance Segmentation2019

    • 著者名/発表者名
      T.-N. Le and A. Sugimoto
    • 学会等名
      IEEE Winter Conference on Applications of Computer Vision (WACV2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] SegmentedFusion: 3D Human Body Reconstruction using Stitched Bounding Boxes2018

    • 著者名/発表者名
      Y. Shih-Hsuan, D. Thomas, A. Sugimoto, S.-H. Lai, and R. Taniguchi
    • 学会等名
      The 6th International Conference on 3D Vision (3DV2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Linear Solution to the Minimal Absolute Pose Rolling Shutter Problem2018

    • 著者名/発表者名
      Zuzana Kukelova, Cenek Albl, Akihiro Sugimoto, and Tomas Pajdla
    • 学会等名
      Asian Conference on Computer Vision (ACCV2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Occlusion Handling using Semantic Segmentation and Visibility-Based Rendering for Mixed Reality2018

    • 著者名/発表者名
      M. Roxas, T. Hori, T. Fukiage, Y. Okamoto, T. Oishi
    • 学会等名
      ACM Symposium on Virtual Reality Software and Technology
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry2018

    • 著者名/発表者名
      R. Ishikawa, T. Oishi, K. Ikeuchi
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Interpolation and Extrapolation of LiDAR Data using Camera Images2018

    • 著者名/発表者名
      A. Hirata, R. Ishikawa, M. Roxas, T. Oishi
    • 学会等名
      The 13th International Workshop on Robust Computer Vision
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 3D Vision for Mobility2018

    • 著者名/発表者名
      T. Oishi
    • 学会等名
      2nd International MIS workshop on 3D Vision and Robotics
    • 関連する報告書
      2018 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Real-Time Simultaneous 3D Reconstruction and Optical Flow Estimation2018

    • 著者名/発表者名
      M. Roxas and T. Oishi
    • 学会等名
      IEEE Winter Conference on Applications of Computer Vision (WACV)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Real-Time Simultaneous 3D Reconstruction and Optical Flow Estimation2018

    • 著者名/発表者名
      M. Roxas, T. Oishi
    • 学会等名
      The 12th International Workshop on Robust Computer Vision
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Robust Visual Localization using Effective Feature Points in Dense 3D Map2018

    • 著者名/発表者名
      Y. Ike, R. Menandro, Y. Okamoto, T. Oishi
    • 学会等名
      The 12th International Workshop on Robust Computer Vision
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Fast 3D Point Cloud Segmentation using Supervoxels with Geometry and Color for 3D Scene Understanding2017

    • 著者名/発表者名
      F. Verdoja, D. Thomas, and A. Sugimoto
    • 学会等名
      IEEE International Conference on Multimedia and Expo (ICME2017)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Deeply Supervised 3D Recurrent FCN for Salient Object Detection in Videos2017

    • 著者名/発表者名
      T.-N. Le, and A. Sugimoto
    • 学会等名
      ritish Machine Vision Conference (BMVC2017)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Efficiently Updating Feasible Regions for Fitting Discrete Polynomial Curve2017

    • 著者名/発表者名
      F. Sekiya and A. Sugimoto
    • 学会等名
      The 20th International Conference on Discrete Geometry for Computer Imagery (DGCI2017)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Synthesis of Environment Maps for Mixed Reality2017

    • 著者名/発表者名
      D. R. Walton, D. Thomas, A. Steed, and A. Sugimoto
    • 学会等名
      IEEE International Symposium on Mixed and Augmented Reality (ISMAR2017)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Accurate Position and Pose Estimation for Mobile Platforms using Dense 3D Model2017

    • 著者名/発表者名
      T. Oishi
    • 学会等名
      Korea-Japan Workshop on Robotics and Information Technology for Better Quality of Life
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] 追跡に効果的な特徴量による頑健な位置合わせ2017

    • 著者名/発表者名
      池友太, 岡本泰英, 大石岳史
    • 学会等名
      第53回 複合現実感研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Variational Optical Flow with 3D Smoothness Constraint for a Single Moving Camera2016

    • 著者名/発表者名
      Menandro Roxas, Tomoki Hori, and Takeshi Oishi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Panoramic Video Completion from Depth Recovery by Pixel Motion Assessment2016

    • 著者名/発表者名
      Carlos Morales, Shintaro Ono, Yasuhide Okamoto, Menandro Roxas, Takeshi Oishi and Katsushi Ikeuchi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] A Sensor Fusion 3D Reconstruction System using Depth-based Triangulation and Multimodal Registration2016

    • 著者名/発表者名
      Ryoichi Ishikawa, Menandro Roxas, Yoshihiro Sato, Takeshi Oishi, Takeshi Masuda, Katsushi Ikeuchi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Occlusion Handling by Semantic Segmentation and Transparency Blending for Outdoor Mixed Reality2016

    • 著者名/発表者名
      Tomoki Hori, Taiki Fukiage, Roxas Menandro, Yasuhide Okamato and Takeshi Oishi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Robust Motion Estimation for MR Mobility System with Multiple Panoramic Cameras2016

    • 著者名/発表者名
      Yasuhide Okamoto, Kosuke Fujimoto, Takeshi Oishi and Katsushi Ikeuchi
    • 学会等名
      The 11th International Workshop on Robust Computer Vision
    • 発表場所
      デジョン(韓国)
    • 年月日
      2016-12-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Room Reconstruction from a Single Spherical Image by Higher-order Energy Minimization2016

    • 著者名/発表者名
      K. Fukano, Y. Mochizuki, S. Iizuka, E. Simo-Sera, A. Sugimoto, and H. Ishikawa
    • 学会等名
      International Conference on Pattern Recognition
    • 発表場所
      カンクン(メキシコ)
    • 年月日
      2016-12-04
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Outdoor Omnidirectional Video Completion via Depth Estimation by Motion Analysis2016

    • 著者名/発表者名
      C. Morales, S. Ono, Y. Okamoto, M. Roxas, T. Oishi and K. Ikeuchi
    • 学会等名
      International Conference on Pattern Recognition
    • 発表場所
      カンクン(メキシコ)
    • 年月日
      2016-12-04
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on a Rover2016

    • 著者名/発表者名
      R. Ishikawa, M. Roxas, Y. Sato, T. Oishi, T. Masuda, K. Ikeuchi
    • 学会等名
      International Conference on 3D Vision
    • 発表場所
      スタンフォード(アメリカ)
    • 年月日
      2016-10-25
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Degeneracies in Rolling Shutter SfM2016

    • 著者名/発表者名
      C. Albl, A. Sugimoto, and T. Pajdla
    • 学会等名
      European Conference on Computer Vision
    • 発表場所
      アムステルダム(オランダ)
    • 年月日
      2016-10-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会

URL: 

公開日: 2016-04-21   更新日: 2023-03-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi