• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Unifying multiple RGB and depth cameras for real-time large-scale dynamic 3D modeling with unmanned micro aerial vehicles

研究課題

研究課題/領域番号 19K20297
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関九州大学

研究代表者

THOMAS DIEGO  九州大学, システム情報科学研究院, 助教 (10804651)

研究期間 (年度) 2019-04-01 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2019年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
キーワードRGB-D SLAM / Aerial 3D capture / Dynamic scene / Aritificial intelligence / Deep neural network / 3D human body / Aerial drone / outdoor scene / 3D reconstruction / sensor fusion / RGB―D SLAM / Unmanned vehicle / dynamic modeling / real-time / unmanned vehicle
研究開始時の研究の概要

Various sensors from unmanned aerial vehicles will be unified to reconstruct large-scale outdoor dynamic 3D scenes in real-time.
(1)Compact RGB and depth cameras will be fused to incrementally reconstruct outdoor scenes in a coarse-to-fine strategy.
(2)NURBS surfaces will maintain the large-scale evolving 3D model while displacement mapping will generate detailed 3D geometry.
(3)Physical and semantic constraints in the scene will be used to enforce at all time a globally consistent 3D reconstruction with loops closed and minimal registration errors.

研究成果の概要

3Dマッピングのために、計算速度を上げることなくデプス画像をロバストかつ正確に融合するための新しい方法を提案しました。また、動く人のようなダイナミックなシーンにも対応できる方法を提案しました。
デプス情報が利用できない状況を処理するために、単一のRGB画像からの3D形状推定の方法を提案しました。服を着た人間の詳細な形状を再構築するための新しいディープニューラルネットワークを提案しました。
RGB-Dデータをキャプチャできる民生用空中ドローンを搭載した新しい3Dスキャンシステムを提案しました。提案するシステムは、ポータブルバッテリーとRGB-Dカメラを搭載したミニコンピューターで構成されています。

研究成果の学術的意義や社会的意義

単一の画像から人体の緻密で詳細な3Dモデルを作成する最初の方法の1つを提案しました。 コンピュータビジョンのトップ国際会議で私たちの仕事を発表し、コードを一般に公開しました。 制御されていない環境での3Dシーン再構築の新しい可能性を開きます。
このシステムを消費者向けの空中ドローンに簡単に装備するためのソリューションと、それを制御するソフトウェアを紹介します。 実世界のデータをキャプチャし、システムを使用していくつかの最先端のRGB-DSLAM技術を評価しました。 空中3Dスキャンとマッピングの研究開発を後押しできるように、すべてのデータとコードをコミュニティで公開しました。

報告書

(3件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実施状況報告書
  • 研究成果

    (11件)

すべて 2020 2019 その他

すべて 国際共同研究 (3件) 雑誌論文 (3件) (うち国際共著 3件、 査読あり 3件) 学会発表 (4件) (うち国際学会 3件、 招待講演 1件) 備考 (1件)

  • [国際共同研究] Gustave Eiffel University(フランス)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] Standford University(米国)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] Gustave Eiffel University(フランス)

    • 関連する報告書
      2019 実施状況報告書
  • [雑誌論文] TetraTSDF: 3D Human Reconstruction From a Single Image With a Tetrahedral Outer Shell2020

    • 著者名/発表者名
      Hayato Onizuka, Zehra Hayirci, Diego Thomas, Akihiro Sugimoto, Hideaki Uchiyama, Rin-ichiro Taniguchi;
    • 雑誌名

      the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

      巻: 1 ページ: 6011-6020

    • 関連する報告書
      2020 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Mobile Photometric Stereo Combined with SLAM for Dense 3D Reconstruction2019

    • 著者名/発表者名
      Maxence Remy; Hideaki Uchiyama; Hiroshi Kawasaki; Diego Thomas; Vincent Nozick; Hideo Saito
    • 雑誌名

      International Conference on 3D Vision

      巻: - ページ: 574-582

    • DOI

      10.1109/3dv.2019.00044

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Mobile Photometric Stereo with Keypoint-Based SLAM for Dense 3D Reconstruction2019

    • 著者名/発表者名
      Maxence Remy、Uchiyama Hideaki、Kawasaki Hiroshi、Thomas Diego、Nozick Vincent、Saito Hideo
    • 雑誌名

      2019 International Conference on 3D Vision (3DV)

      巻: 0 ページ: 574-582

    • DOI

      10.1109/3dv.2019.00069

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] TetraTSDF: 3D Human Reconstruction From a Single Image With a Tetrahedral Outer Shell2020

    • 著者名/発表者名
      Hayato Onizuka, Zehra Hayirci, Diego Thomas
    • 学会等名
      the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Merging SLAM and photometric stereo for 3D reconstruction with a moving camera2019

    • 著者名/発表者名
      Maxence Remy, Hideo Saito, Hideaki Uchiyama, Hiroshi Kawasaki, Vincent Nozick, Diego Thomas
    • 学会等名
      25th International Workshop on Frontiers of Computer Vision
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Regression of 3D human body shapes from a single image2019

    • 著者名/発表者名
      Hayato Onizuka, Diego Thomas, Zehra Hayirci, Akihiro Sugimoto, Hideaki Uchiyama, Rin-ichiro
    • 学会等名
      Machine Perception and Robotics 2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 3D human body reconstruction using RGB-D camera2019

    • 著者名/発表者名
      Diego Thomas
    • 学会等名
      Asia Pacific Society for Computing and Information Technology 2019 Annual Meeting (APSCIT 2019 Annual Meeting)
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [備考] Computer Vision & Graphics Laboratory

    • URL

      https://www.cvg.ait.kyushu-u.ac.jp

    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2019-04-18   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi