• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

屈折を含む非中心投影画像からの汎用的3次元復元手法の開発

研究課題

研究課題/領域番号 18K19824
研究機関九州大学

研究代表者

川崎 洋  九州大学, システム情報科学研究院, 教授 (80361393)

研究分担者 小野 晋太郎  東京大学, 生産技術研究所, 特任准教授 (80526799)
研究期間 (年度) 2018-06-29 – 2021-03-31
キーワードライトフィールドカメラ / アクティブ水中3次元計測 / SLAM / 水中ROV / フェイズマスク / DOE
研究実績の概要

本研究では、以下3つの手法を研究開発し、水中での広範囲なアクティブ3次元復元を実現する。(A) 光線空間計測カメラを用いて、水中シーンを撮影して得られた光線空間を再構成することで中心投影画像の合成を実現する。また、水中でもレーザは直進することから、レーザ平面も平面のままであることを利用して、(B)共面生に基づくアクティブ・ステレオ3次元復元アルゴリズムを開発する。最終的に、前記(A)と(B)を組み合わせて、(C) SLAMによる水中での形状計測および運動する人物や魚などの計測・運動解析の実現を目指す。

平成30年度に(A)については一定の成果が得られたことから、令和元年度は、(B)と(C)の実現を目指して研究開発を実施した。具体的には、(B)においては、前年度シミュレーションと水槽実験にて確認した、複数のラインレーザを投影し、共面性条件を用いてアクティブ方式で3次元復元アルゴリズムについて、実際に水中ロボット(ROV)に搭載し大きなプールで計測実験を行い、復元を行った。その結果、水中シーンの3次元復元が可能であることが確認された。さらに、このROVロボットを動かしながら計測を行い、それら画像列を用いて、(C)広い範囲の3次元形状復元する手法の研究開発を実施した。そのために、シミュレーション環境を構築し基礎実験を行ったところ、レーザ平面やカメラの内部パラメータなどが推定可能であることが確認でした。これら成果を査読付き会議や研究会へ投稿を行い発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本年度は、大きく2つのテーマで研究開発を行い、一定の成果を得ることができたことから、概ね順調に進展していると考える。以下にそれぞれのテーマについての詳細を述べる。
(B)共面性に基づくアクティブ・ステレオ3次元復元アルゴリズムの開発:
複数のラインレーザを一つのハウジングに入れて同時に投影する場合、中心投影では無くなるが、各ラインレーザを個別のハウジングに封入すれば、水中であっても投影されたレーザは平面のままであり、共面性条件は保存される。前年度に、この共面性条件を利用してた水中アクティブ3次元復元アルゴリズムを開発した。本年度は、奈良先端大学院大学の高松准教授と共同研究により、本システムを実際に水中ロボット(ROV)に設置し、プールでの撮影を実施し、実環境における3次元形状復元を試みた。その結果、シーンの正しい3次元形状復元に成功したことが確認できたため、それら成果を国際ワークショップにて発表した。

(C)SLAMによる水中での形状計測および運動する人物や魚などの計測・運動解析:
前述のように、水中ROVで動きながら計測した複数の3次元形状を統合し、広い範囲を復元する手法を開発するため、その準備のための研究や、基礎研究を行った。まず、ROVを効率よく制御するため、ROSによるシステム開発を行い、効率よくシーンを計測できるようにした。さらに単画像における3次元復元アルゴリズムを用いて初期形状を得て、これを連続画像に適用して同時最適化することで高精度に首尾一貫した広範囲の3次元形状復元を実現するアルゴリズムの研究開発に着手し、シミュレーションにより動作確認を行った。並行して通常のワンショット3次元センサによる、SLAMアルゴリズムおよび、計測したシーンにおける同物体の検出やトラッキングを実現するための基礎アルゴリズムについての研究開発を進めて、成果を国際会議に投稿し発表した。

今後の研究の推進方策

次年度は、これまでの成果である、(A)水中における光線の再構成による中心投影画像の合成手法と、(B)水中で複数ラインレーザを用いた共面性アクティブ3次元計測手法と、(C)連続画像を用いた同時最適化手法による広範囲3次元復元を組み合わせて、「実際にROVを動かしながら、広い範囲を計測した画像列から、水中の広範囲3次元形状を復元するシステム」を開発する。このための具体的な目標は以下の通りである。

(C-1)SLAMによる水中での共面性復元による形状計測アルゴリズムの開発:

これまでに開発した、共面性水中アクティブ3次元計測システムを搭載したROVを実際に水中で動かすことで画像列を得て、それら画像列をバンドル調整による同時最適化することで、水中の広範囲な3次元形状を高精度に計測する手法を開発する。その実現のため、複数のラインレーザのパラメータと屈折パラメータを考慮した、新しいバンドル調整手法を研究開発する。

次年度使用額が生じた理由

次年度に実施する実データ実験用の機材や人件費に回すため。

  • 研究成果

    (31件)

すべて 2019 その他

すべて 国際共同研究 (2件) 雑誌論文 (16件) (うち国際共著 1件、 査読あり 16件、 オープンアクセス 6件) 学会発表 (11件) (うち国際学会 5件) 備考 (2件)

  • [国際共同研究] Rice大学/MIT/Microsoft(米国)

    • 国名
      米国
    • 外国機関名
      Rice大学/MIT/Microsoft
  • [国際共同研究] 北京大学(中国)

    • 国名
      中国
    • 外国機関名
      北京大学
  • [雑誌論文] 白黒2階調の補助線を用いた幾何歪みに頑健な2次元コードとその復号方式に関する研究2019

    • 著者名/発表者名
      鞍津輪一希,上鶴晃平,久冨あすか(鹿児島大学),川崎洋(九州大学),小野智司(鹿児島大学)
    • 雑誌名

      情報処理学会論文誌 数理モデルと応用(TOM)

      巻: 2018-MPS-121 4号 ページ: pp69-81

    • 査読あり
  • [雑誌論文] UNDERWATER STEREO USING REFRACTION-FREE IMAGE SYNTHESIZED FROM LIGHT FIELD CAMERA2019

    • 著者名/発表者名
      Kazuto Ichimaru, Hiroshi Kawasaki
    • 雑誌名

      IEEE International Conference on Image Processing ICIP

      巻: - ページ: 5pages

    • 査読あり / オープンアクセス
  • [雑誌論文] Simultaneous RGB and Depth Image Capture System Using Common Endoscope Based on Hight Frequency Alternative Pattern Projection2019

    • 著者名/発表者名
      Ryo Furukawa, Shiro Oka, Takahiro Kotachi,Yuki Okamoto,Shinji Tanaka,Hiroshi Kawasaki
    • 雑誌名

      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)

      巻: - ページ: 1page

    • 査読あり
  • [雑誌論文] Frame-Wise Auto-Calibration of Projector-Camera Pair of 3D Endoscope2019

    • 著者名/発表者名
      Ryo Furukawa, Shiro Oka, Takahiro Kotachi,Yuki Okamoto,Shinji Tanaka,Hiroshi Kawasaki
    • 雑誌名

      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)

      巻: - ページ: 1page

    • 査読あり
  • [雑誌論文] Non-Contact Cardiac Beat Detection Using Dot-line Based Oneshot Scanner2019

    • 著者名/発表者名
      Genki Nagamatsu, Ryo Furukawa, Hiroshi Kawasaki
    • 雑誌名

      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)

      巻: - ページ: 1page

    • 査読あり
  • [雑誌論文] Learning-based active 3D measurement technique using light field created by video projectors2019

    • 著者名/発表者名
      Yuki Shiba1* , Satoshi Ono1 , Ryo Furukawa2 , Shinsaku Hiura2 and Hiroshi Kawasaki3
    • 雑誌名

      IPSJ Transactions on Computer Vision and Applications

      巻: Vol. 11, numbe 6 ページ: 14pages

    • DOI

      10.1186/s41074-019-0058-y

    • 査読あり / オープンアクセス
  • [雑誌論文] Refraction-free Underwater Active One-shot Scan using Light Field Camera2019

    • 著者名/発表者名
      Kazuto Ichimaru, Hiroshi Kawasaki(Kyushu Univ.)
    • 雑誌名

      第22回画像の認識・理解シンポジウム

      巻: - ページ: 4pages

    • 査読あり
  • [雑誌論文] Simultaneous Shape Registration and Active Stereo Shape Reconstruction using Modified Bundle Adjustment2019

    • 著者名/発表者名
      Ryo Furukawa; Genki Nagamatsu; Hiroshi Kawasaki
    • 雑誌名

      International Conference on 3D Vision

      巻: - ページ: 10pages

    • DOI

      10.1109/3DV.2019.00057

    • 査読あり
  • [雑誌論文] Unified Underwater Structure-from-Motion2019

    • 著者名/発表者名
      Kazuto Ichimaru,Yuichi Taguchi,Hiroshi Kawasaki
    • 雑誌名

      International Conference on 3D Vision

      巻: - ページ: 9pages

    • 査読あり / オープンアクセス
  • [雑誌論文] Mobile Photometric Stereo Combined with SLAM for Dense 3D Reconstruction2019

    • 著者名/発表者名
      Maxence Remy; Hideaki Uchiyama; Hiroshi Kawasaki; Diego Thomas; Vincent Nozick; Hideo Saito
    • 雑誌名

      International Conference on 3D Vision

      巻: - ページ: pp.574-582

    • DOI

      10.1109/3DV.2019.00044

    • 査読あり / 国際共著
  • [雑誌論文] Simultaneous shape and camera-projector parameter estimation for 3D endoscopic system using CNN-based grid-oneshot scan2019

    • 著者名/発表者名
      Ryo Furukawa 1 ; Genki Nagamatsu 2 ; Shiro Oka 3 ; Takahiro Kotachi 4 ; Yuki Okamoto 4 ; Shinji Tanaka 4 ; Hiroshi Kawasaki 2
    • 雑誌名

      MICCAI workshops AE-CAI, CARE (MIAR)

      巻: Vol. 6, Iss. 6 ページ: pp.249-254

    • DOI

      10.1049/htl.2019.0070

    • 査読あり / オープンアクセス
  • [雑誌論文] Human shape reconstruction with loose clothes from partially observed data by pose specific deformation2019

    • 著者名/発表者名
      Sayo Akihiko; Onizuka Hayato; Thomas Diego; Nakashima Yuta; Kawasaki Hiroshi; Ikeuchi Katsushi
    • 雑誌名

      The Pacific-Rim Symposium on Image and Video Technology (PSIVT)

      巻: vol 11854 ページ: pp225-239

    • DOI

      10.1007/978-3-030-34879-3_18

    • 査読あり
  • [雑誌論文] Flooded Road Detection from Driving Recorder: Training Deep Net forRare Event using GANs Semantic Information2019

    • 著者名/発表者名
      Sho Nakamura, Shintaro Ono, Hiroshi Kawasaki
    • 雑誌名

      第17回ITSシンポジウム2019

      巻: - ページ: 10pages

    • 査読あり
  • [雑誌論文] Flooded Road Detection from Driving Recorder: Training Deep Net forRare Event using GANs Semantic Information2019

    • 著者名/発表者名
      Sho Nakamura, Shintaro Ono, Hiroshi Kawasaki
    • 雑誌名

      International Journal of Intelligent Transportation Systems Research

      巻: - ページ: 10pages

    • DOI

      10.1007/s13177-019-00219-9

    • 査読あり
  • [雑誌論文] Toward Interactive Self- Annotation For Video Object BoundingBox: Recurrent Self-Learning And Hierarchical Annotation Based Framework2019

    • 著者名/発表者名
      Trung-Nghia Le, Sugimoto Akihiro, Shintaro Ono, and Hiroshi Kawasaki
    • 雑誌名

      2020 IEEE Winter Conference on Applicans of Computer Vision (WACV)

      巻: - ページ: 10 pages

    • 査読あり / オープンアクセス
  • [雑誌論文] パターンの最適化による複数平面への文字情報の同時投影手法2019

    • 著者名/発表者名
      平尾 勇人,岩口 尭史,川崎 洋
    • 雑誌名

      第24回一般社団法人情報処理学会シンポジウム(インタラクション2020)

      巻: - ページ: pp403-408

    • 査読あり / オープンアクセス
  • [学会発表] 3次元内視鏡におけるambient光源にロバストな投影パターン特徴抽出2019

    • 著者名/発表者名
      古川 亮, 内藤 雅仁, 宮崎 大輔, 馬場 雅志, 日浦 慎作(広島市大), 岡 志郎, 田中 信治(広島大病院), 川崎 洋(九大)
    • 学会等名
      第22回画像の認識・理解シンポジウム
  • [学会発表] セマンティック情報に基づく複数ドメイン画像変換2019

    • 著者名/発表者名
      中村 奨, 小野 晋太郎, 川崎 洋
    • 学会等名
      第22回画像の認識・理解シンポジウム
  • [学会発表] 疎な構造化光による疎な3次元復元形状のパターン間の陰影学習による高密度化2019

    • 著者名/発表者名
      岩口 尭史, 栗田 拓弥, 時枝 康大(九大), 古川 亮(広島市大), 川崎 洋(九大)
    • 学会等名
      第22回画像の認識・理解シンポジウム
  • [学会発表] 頭部3次元データの位置合わせによるPPG精度向上2019

    • 著者名/発表者名
      永松 元気, Ewa Magdalena Nowara, Amruta Pai, Ashok Veeraraghavan (Rice Univ.), 川崎 洋
    • 学会等名
      第22回画像の認識・理解シンポジウム
  • [学会発表] Labanotation Generation from RGB videos2019

    • 著者名/発表者名
      LIU JING, Hiroshi Kawasaki
    • 学会等名
      Joint Workshop on Machine Perception and Robotics (MPR2019)
    • 国際学会
  • [学会発表] Densifying sparse shape from sparse structured light measurement by learning shading2019

    • 著者名/発表者名
      Takafumi Iwaguchi,Kodai Tokieda,Ryo Furukawa, Hiroshi Kawasaki
    • 学会等名
      Joint Workshop on Machine Perception and Robotics (MPR2019)
    • 国際学会
  • [学会発表] CNNを用いたドットライン検出による堅牢なアクティブ3次元計測2019

    • 著者名/発表者名
      永松 元気, 長枝 浩, 川崎 洋
    • 学会等名
      ビジョン技術の実利用ワークショップ
  • [学会発表] Unsupervised 3D Human Pose Estimation with Adversarial Learning2019

    • 著者名/発表者名
      Cheng Sun, Diego Thomas, and Hiroshi Kawasaki
    • 学会等名
      26th International Workshop on Frontiers of Computer Vision(IW-FCV2020)
    • 国際学会
  • [学会発表] Development of underwater 3D-reconstruction system using cross-lasers-based scanner attached on underwater ROV2019

    • 著者名/発表者名
      Hanbin Wang, Takafumi Iwaguchi, Naoki Shirakura, Jun Takamatsu, and Hiroshi Kawasaki
    • 学会等名
      26th International Workshop on Frontiers of Computer Vision(IW-FCV2020)
    • 国際学会
  • [学会発表] Tensor-Based Deep Height Map Reconstruction for Rendering Time-Varying Water Drop Condensation2019

    • 著者名/発表者名
      Michihiro Mikamo, Hiroshi Kawasaki
    • 学会等名
      26th International Workshop on Frontiers of Computer Vision(IW-FCV2020)
    • 国際学会
  • [学会発表] 連続画像を用いた流し撮り画像合成手法2019

    • 著者名/発表者名
      三鴨 道弘 , 川崎 洋
    • 学会等名
      第177回コンピュータグラフィックスとビジュアル情報学研究発表会
  • [備考] ライトフィールドカメラによる屈折フリー画像生成

    • URL

      http://www.cvg.ait.kyushu-u.ac.jp/ja/research/lytro_refraction_undist.html

  • [備考] 水中におけるMulti-scale CNNを用いたパターン投影ステレオ

    • URL

      http://www.cvg.ait.kyushu-u.ac.jp/ja/research/underwater_projectedpatternstereo.html

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi