• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Research-status Report

Development of active 3D shape reconstruction method from non-perspective cameras

Research Project

Project/Area Number 18K19824
Research InstitutionKyushu University

Principal Investigator

川崎 洋  九州大学, システム情報科学研究院, 教授 (80361393)

Project Period (FY) 2018-06-29 – 2021-03-31
Keywordsライトフィールドカメラ / アクティブ3次元計測 / SLAM / 水中ROV
Outline of Annual Research Achievements

本研究では、(A) 光線空間計測カメラを用いて、水中シーンを撮影して得られた光線空間を再構成することで中心投影画像の合成を実現する。また、水中でもレーザは直進することから、レーザ平面も平面のままであることを利用して、(B)共面生に基づくアクティブ・ステレオ3次元復元アルゴリズムを開発する。最終的に、前記(A)と(B)を組み合わせて、(C) SLAMによる水中での形状計測および運動する人物や魚などの計測・運動解析の実現を目指す。

平成30年度は、このうち、(A)と(B)の実現を目指して、具体的には、(A)においては、水中のシーンを光線空間カメラで計測し、光線を補間することで単純な近似を上回る品質とコントラストを持った中心投影画像アルゴリズムを開発し、効果を検証・確認した。(B)においては、ラインレーザを複数投影し、共面性条件が保存されることを利用して、アクティブ方式の3次元復元アルゴリズムを開発し、正しく形状復元されることを確認した。さらに、外部機関と共同で実データ実験を行い、成果を査読付き会議や論文誌へ投稿を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は、大きく2つのテーマで研究開発を行った。
(A) 光線空間計測カメラによる水中シーンの中心投影画像の合成:
水中で計測をするためには、屈折の影響を解決する必要があるため、本研究では、水中シーンを光線空間カメラで計測し、必要な視線方向の光線を再構成することで、中心投影画像を合成した。実際には光線空間カメラの解像度が高くなく、視線方向の拡がり角もあまり広くないことから、光線を補間するアルゴリズムを開発した。その結果、単純な近似手法に比べてて高い品質とコントラストが得られることを確認した。これら成果を、国際会議に投稿し採択され、翌年度に発表予定である。
(B)共面性に基づくアクティブ・ステレオ3次元復元アルゴリズムの開発:
ラインレーザを複数投影する場合、中心投影では無くなるが、水中であっても平面投影されたレーザは平らなままのため、共面性条件は保存される。そこで、この共面性条件を利用したアクティブ3次元復元アルゴリズムを開発した。これは、応募者らが以前空中で開発したものを水中に適用したものであり、実験の結果、水中でも安定した3次元復元が実現できることを確認した。これらの成果は、国際会議に投稿し採択され、翌年度に発表予定である。

Strategy for Future Research Activity

今後は、初年度の成果である、水中における光線の再構成による中心投影画像の合成手法と、水中でレーザを用いたアクティブ3次元計測を組み合わせて、水中3次元計測システムを開発する。さらに、そのようなたデバイスを用いたSLAMによる広範囲の水中地形の計測への応用や解析手法を研究する。具体的な目標は以下の通りである。
●SLAMによる水中での形状計測アルゴリズムの開発:
カメラとレーザを固定してハウジングに入れて水中に沈め、これを動かしながら水中の形状を計測する手法を開発する。その実現のため、前年度に開発した中心投影画像の合成手法と、共面性条件を用いたアクティブ3次元形状計測手法を組み合わせて、SLAMにより形状計測を実現するアルゴリズムを開発する。
●水中で運動する人物や魚などの計測:
上記3次元計測システムは、ワンショット計測が実現できるため、運動する人物や魚などの計測に好適である。そこで、実際に水中シーンでの実データ計測実験を行う。

Causes of Carryover

次年度に実施する実データ実験用の機材や、そのための人件費に回すため。

  • Research Products

    (34 results)

All 2018

All Journal Article (19 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 19 results,  Open Access: 5 results) Presentation (15 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] A structured light laser probe for gastrointestinal polyp size measurement: a preliminary comparative study2018

    • Author(s)
      Marco Visentini-Scarzanella,Hiroshi Kawasaki,Ryo Furukawa,Marco Augusto Bonino,Simone Arolfo,Giacomo Lo Secco,Alberto Arezzo,Arianna Menciassi,Paolo Dario,Gastone Ciuti
    • Journal Title

      Endoscopy International Open

      Volume: Issue 05 - Volume 06 Pages: pp.602-609

    • DOI

      10.1055/a-0577-2798

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] ARシステムとプロジェクションマッピングによるランドマークベースの都市型経路案内システム2018

    • Author(s)
      平尾勇人,市丸和人,脇海晟,西正満,岡本泰英,河合由起子,川崎洋
    • Journal Title

      インタラクション2018 (第22回一般社団法人情報処理学会シンポジウム)

      Volume: - Pages: 684-689

    • Peer Reviewed / Open Access
  • [Journal Article] アクティブステレオ法による3次元内視鏡のためのHDR画像生成と投光器位置の自己校正2018

    • Author(s)
      古川亮,内藤雅仁,溝森将輝,宮崎大輔,馬場雅志,日浦慎作,佐野村洋次,田中信治,川崎洋
    • Journal Title

      電子情報通信学会論文誌 D

      Volume: Vol.J101-D No.8 Pages: pp.1150-1164

    • DOI

      10.14923/transinfj.2017IUP0015

    • Peer Reviewed
  • [Journal Article] Quantitative Evaluation of the Number and the Blur Size of Input Images in Super Resolution of On-Vehicle Fisheye Camera2018

    • Author(s)
      Teruhisa Takano, Shintaro Ono (The University of Tokyo, Japan), Hiroshi Kawasaki (Kyushu University, Japan) and Katsushi Ikeuchi (Microsoft, USA)
    • Journal Title

      The 16th ITS Asia-Pacific Forum

      Volume: - Pages: 11pages

    • Peer Reviewed
  • [Journal Article] Grid-based oneshot scan using dot-line pattern2018

    • Author(s)
      Ryo Furukawa,Hiroshi Kawasaki
    • Journal Title

      OSA Imaging and Applied Optics Congress 2018

      Volume: - Pages: 2pages

    • DOI

      10.1364/3D.2018.3M3G.4

    • Peer Reviewed
  • [Journal Article] Improvement of image quality by using viewpoint following in multi-layer light field display2018

    • Author(s)
      Ryo Furukawa,Tsukasa Tadano, Shinsaku Hiura, Hiroshi Kawasaki
    • Journal Title

      OSA Imaging and Applied Optics Congress 2018

      Volume: - Pages: 2pages

    • DOI

      10.1364/3D.2018.3W3G.4

    • Peer Reviewed
  • [Journal Article] Silhouette-based Three Dimensional Image Registration Using CMA-ES with Joint Scheme of Partial Restart and Variable Fixing2018

    • Author(s)
      Takuto Shigenobu,Takuya Ushinohama,Hiroshi Kawasaki,Satoshi Ono
    • Journal Title

      The Genetic and Evolutionary Computation Conference (GECCO) 2018

      Volume: - Pages: 133-144

    • DOI

      10.1145/3205651.3205791

    • Peer Reviewed
  • [Journal Article] Representing a Partially Observed Non-Rigid 3D Human Using Eigen-Texture and Eigen-Deformation2018

    • Author(s)
      Ryosuke Kimura, Akihiko Sayo, Fabian Lorenzo Dayrit, Yuta Nakashima, Hiroshi Kawasaki, Ambrosio Blanco, Katsushi Ikeuchi
    • Journal Title

      International Conference on Pattern Recognition (ICPR) 2018

      Volume: - Pages: pp1-6

    • Peer Reviewed / Open Access
  • [Journal Article] 物体表面上の熱伝播と画像データベースを基にした時間経過により成長する水滴形状表現2018

    • Author(s)
      三鴨道弘、川崎洋
    • Journal Title

      Visual Computing (VC)シンポジウム2018

      Volume: - Pages: 6pages

    • Peer Reviewed
  • [Journal Article] Time Varying Displacement Map Synthesis for Rendering Water Drop Condensation using Image Database2018

    • Author(s)
      Michihiro Mikamo, Hiroshi Kawasaki
    • Journal Title

      第21回画像の認識・理解シンポジウム

      Volume: - Pages: 4pages

    • Peer Reviewed
  • [Journal Article] Grid-pattern feature detection technique using U-Nets for 3D endoscope2018

    • Author(s)
      Masahito Naito, Ryo Furukawa, Okitomo Masashi, Miyazaki Daisuke, Masashi Baba, Shinsaku Hiura (Hiroshima City University), Yoji Sanomura, Shinji Tanaka (Hiroshima University Hospital), Hiroshi Kawasaki
    • Journal Title

      第21回画像の認識・理解シンポジウム

      Volume: - Pages: 4pages

    • Peer Reviewed
  • [Journal Article] Synthesis of human shape in loose cloth using eigen-deformation2018

    • Author(s)
      Akihiko Sayo (Kyushu University),Ryosuke Kimura (Kagoshima University), Fabian Lorenzo Dayrit (NAIST), Yuta Nakashima (Osaka University), Hiroshi Kawasaki (Kyushu University), Ambrosio Blanco (MSRA), Katsushi Ikeuchi (MSR)
    • Journal Title

      第21回画像の認識・理解シンポジウム

      Volume: - Pages: 4pages

    • Peer Reviewed
  • [Journal Article] Multi-scale CNN stereo and pattern removal technique for underwater active stereo system2018

    • Author(s)
      Kazuto Ichimaru,Ryo Furukawa, Hiroshi Kawasaki
    • Journal Title

      International Conference on 3D Vision (3DV)

      Volume: - Pages: pp1-10

    • Peer Reviewed / Open Access
  • [Journal Article] Robust Structured Light System against Subsurface Scattering Effects Achieved by CNN-based Pattern Detection and Decoding Algorithm2018

    • Author(s)
      Ryo Furukawa, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Hiroshi Kawasaki
    • Journal Title

      Work shop (3D Reconstruction in the Wild 2018(3DRW2018) in conjunction with European Conference on Computer Vision 2018 (ECCV2018)

      Volume: LNCS, volume 11129 Pages: pp 372-386

    • DOI

      10.1007/978-3-030-11009-3_22

    • Peer Reviewed
  • [Journal Article] Wide-area shape reconstruction by 3D endoscopic system based on CNN decoding, shape registration and fusion2018

    • Author(s)
      Ryo Furukawa, Masaki Mizomori, Shinsaku Hiura, Shiro Oka, Shinji Tanaka, Hiroshi Kawasaki
    • Journal Title

      The 5th International Workshop on Computer Assisted Robotics Endoscopy (CARE 2018) in conjunction with MICCAI 2018

      Volume: - Pages: 12pages

    • Peer Reviewed
  • [Journal Article] An Attempt to Extract Watermarks from Defocused Images using Coded Aperture2018

    • Author(s)
      Kentaro Nakai, Takeru Maehara, Toshiki Sonoda, Michihiro Mikamo, Hiroshi Kawasaki, Hajime Nagahara, Satoshi Ono
    • Journal Title

      14th Asian Conference on Computer Vision (ACCV2018)

      Volume: - Pages: 16pages

    • Peer Reviewed
  • [Journal Article] Simultaneous Independent Information Disply at Multiple Depths using Multiple Projectors and Patterns Created by Epipolar Constraint and Homography Transformation2018

    • Author(s)
      Yuto Hirao, Hiroshi Kawasaki
    • Journal Title

      24th ACM Symposium on Virtual Reality Software and Technology VRST2018

      Volume: - Pages: 2pages

    • Peer Reviewed
  • [Journal Article] CNN Based Dense Underwater 3D Scene Reconstruction by Transfer Learning Using Bubble Database2018

    • Author(s)
      Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
    • Journal Title

      IEEE Winter Conference on Applications of Computer Vision 2019 (WACV2019)

      Volume: - Pages: 10pages

    • Peer Reviewed / Open Access
  • [Journal Article] Single-wavelength and multi-parallel dotted- and solid-lines for dense and robust active 3D reconstruction2018

    • Author(s)
      Genki Nagamatsu,Ryo Furukawa,Ryusuke Sagawa,Hiroshi Kawasaki
    • Journal Title

      International Conference on Machine Vision Applications 2019 (MVA2019)

      Volume: - Pages: pp1-6

    • Peer Reviewed
  • [Presentation] Active 3D shape sensing techniques for moving objects under various conditions2018

    • Author(s)
      Hiroshi Kawasaki
    • Organizer
      Asia Workshop on Smart Sensors and Systems (AWSSS)
    • Int'l Joint Research
  • [Presentation] 平面制約を用いたアクティブ全周計測システムの自動キャリブレーション手法2018

    • Author(s)
      佐世晶彦、トマディエゴ、内山英昭、佐川立昌、古川亮、川崎洋
    • Organizer
      情報処理学会 コンピュータビジョンとイメージメディア研究会
  • [Presentation] 変数固定を伴う部分リスタート戦略を導入したCMA-ESを用いたシルエットベースの3 次元剛体形状位置合わせ2018

    • Author(s)
      重信拓音, 牛之濱拓哉, 川崎洋, 小野智司
    • Organizer
      2018年度人工知能学会全国大会(第32回)
  • [Presentation] 畳み込みニューラルネットワークによる補助線検出を用いた歪みを含む2次元コードの復号方式2018

    • Author(s)
      鞍津輪一希、神薗誠、川崎洋、小野智司
    • Organizer
      2018年度人工知能学会全国大会(第32回)
  • [Presentation] Underwater accurate shape reconstruction using CNNs2018

    • Author(s)
      Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
    • Organizer
      第21回画像の認識・理解シンポジウム
  • [Presentation] パターンの最適化による複数平面への文字情報の同時投影手法2018

    • Author(s)
      平尾 勇人, 川崎 洋
    • Organizer
      第21回画像の認識・理解シンポジウム
  • [Presentation] 能動ステレオ法のためのパターン検出におけるCNNによる複数特徴の同時抽出2018

    • Author(s)
      溝森 将輝, 内藤 雅仁, 古川 亮, 馬場 雅志, 宮崎 大輔, 日浦 慎作, 川崎 洋
    • Organizer
      第21回画像の認識・理解シンポジウム
  • [Presentation] 深層学習によるドライブレコーダーからの冠水映像の自動検出に関する研究2018

    • Author(s)
      中村 奨, 小野 晋太郎, 川崎 洋
    • Organizer
      第21回画像の認識・理解シンポジウム
  • [Presentation] Representing full-body human shape with loose clothes by pose-dependent deformation2018

    • Author(s)
      Akihiko Sayo , Diego Thomas , Yuta Nakashimay, Hiroshi Kawasaki , Ambrosio Blancoz, Katsushi Ikeuchi
    • Organizer
      The 14th Joint Workshop on Machine Perception and Robotics
    • Int'l Joint Research
  • [Presentation] Underwater dense dynamic shape reconstruction using Multi-scale CNN2018

    • Author(s)
      Kazuto Ichimaru, Ryo Furukawa and Hiroshi Kawasaki
    • Organizer
      The 14th Joint Workshop on Machine Perception and Robotics
    • Int'l Joint Research
  • [Presentation] 学習データが少ない事象をドライブレコーダーから自動検出するための深層学習手法--冠水を対象としたGANによるDataAugmentationアプローチ--2018

    • Author(s)
      中村奨,小野晋太郎,川崎洋
    • Organizer
      ITSシンポジウム2018
  • [Presentation] CNNによる特徴抽出と複数フレームの形状統合による広範囲かつ高精度な3次元内視鏡システム2018

    • Author(s)
      古川亮,内藤雅仁,溝森将輝,馬場雅志,宮崎大輔,日浦慎作,岡志郎,田中信治,川崎洋
    • Organizer
      電子情報通信学会 医用画像研究会 (MI)
  • [Presentation] Merging SLAM and photometric stereo for 3D reconstruction with a moving camera2018

    • Author(s)
      Maxence Remy, Hideo Saito and Hiroshi Kawasaki
    • Organizer
      25th International Workshop on Frontiers of Computer Vision
    • Int'l Joint Research
  • [Presentation] Tensor-based Texture Representations for Rendering Time-varying Water Drop Condensation2018

    • Author(s)
      Michihiro Mikamo and Hiroshi Kawasaki
    • Organizer
      25th International Workshop on Frontiers of Computer Vision
    • Int'l Joint Research
  • [Presentation] Refraction-free Underwater Active One-shot Scan using Light Field Camera2018

    • Author(s)
      Kazuto Ichimaru, Hiroshi Kawasaki
    • Organizer
      IEEE International Conference on Computational Photography 2019 (ICCP2019)
    • Int'l Joint Research

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi