• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Analysis and application of synthetic light field created by projector(Fostering Joint International Research)

Research Project

Project/Area Number 16KK0151
Research InstitutionKyushu University

Principal Investigator

川崎 洋  九州大学, システム情報科学研究院, 教授 (80361393)

Project Period (FY) 2017 – 2019
Keywordsコンピュテーショナルフォトグラフィ / 水中3次元計測 / VR/AR/MR / TOF / フェイズマスク / DOE
Outline of Annual Research Achievements

本研究では,研究者の提案するライトフィールド・プロジェクタをベースに,(1)物体に浸透したライトフィールドを解析し表面や内部の構造を推定すること,および,(2)時空間的に変調されたライトフィールドの構築によりシーンのデプスや反射特性を取得することを課題としている.

最終年度である令和元年度は、その実現を目指して、具体的に(1)については、前年度に引き続きMITのRaskar准教授のグループと、MERLのTaguchi研究員と共同研究を行った.Raskar准教授とは、霧やもやなど透明度の低い媒質の先にあるシーンの構造を推定するため、霧やもやなどの媒質内でも透過性の高い遠赤外線による構造化光を用いた手法による解決策を考案し、実験的にその有効性を示すことに成功した。これらの成果をまとめて論文投稿した。またMERLとは、空気中から物体内部に光が入射する境界面における屈折などの影響について解析を行い、高精度な推定手法や実験による検証を行い、その成果を国際会議等に投稿し発表した。(2)については,アメリカ・ライス大学のVeeraraghavan准教授と共同して研究を行った.具体的には、TOFセンサに時空間変調を加えることでノイズに強く安定した形状計測を実現する手法を考案し、実証実験により理論通りに動作することを確認した。同時に、プロジェクタ・パターンをデプス依存に変化させる手法を考案し、これによりシーン内のデプスに依存したライトフィールドを構築することに成功した。それらの成果を論文投稿した他、特許出願を進めている。上記研究により得られた成果は、査読付き会議・論文誌への投稿を行い発表した。

  • Research Products

    (33 results)

All 2019 2018 Other

All Int'l Joint Research (4 results) Journal Article (16 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 16 results,  Open Access: 6 results) Presentation (11 results) (of which Int'l Joint Research: 5 results) Remarks (2 results)

  • [Int'l Joint Research] ライス大学(米国)2018

    • Year and Date
      2018-11-24 – 2019-02-12 | 2020-01-032020-02-06
    • Country Name
      U.S.A.
    • Counterpart Institution
      ライス大学
    • Co-investigator Overseas
      Ashok Veeraraghavan
    • Job Title
      准教授
  • [Int'l Joint Research] サイモンフレーザー大学(カナダ)2018

    • Year and Date
      2018-08-26 – 2018-10-14
    • Country Name
      CANADA
    • Counterpart Institution
      サイモンフレーザー大学
    • Co-investigator Overseas
      Yasutaka Furukawa
    • Department
      ビジュアルコンピューティング・グループ
    • Job Title
      助教
  • [Int'l Joint Research] マサチューセッツ工科大学(米国)2018

    • Year and Date
      2018-07-21 – 2018-08-20
    • Country Name
      U.S.A.
    • Counterpart Institution
      マサチューセッツ工科大学
    • Co-investigator Overseas
      Ramesh Raskar
    • Job Title
      准教授
  • [Int'l Joint Research] Mitsubishi Electric Research Labs(米国)2018

    • Year and Date
      2018-06-30 – 2018-07-20
    • Country Name
      U.S.A.
    • Counterpart Institution
      Mitsubishi Electric Research Labs
    • Co-investigator Overseas
      Yuichi Taguchi
    • Job Title
      主幹研究員
  • [Journal Article] 白黒2階調の補助線を用いた幾何歪みに頑健な2次元コードとその復号方式に関する研究2019

    • Author(s)
      鞍津輪一希,上鶴晃平,久冨あすか(鹿児島大学),川崎洋(九州大学),小野智司(鹿児島大学)
    • Journal Title

      情報処理学会論文誌 数理モデルと応用(TOM)

      Volume: 2018-MPS-121 4号 Pages: pp69-81

    • Peer Reviewed
  • [Journal Article] UNDERWATER STEREO USING REFRACTION-FREE IMAGE SYNTHESIZED FROM LIGHT FIELD CAMERA2019

    • Author(s)
      Kazuto Ichimaru, Hiroshi Kawasaki
    • Journal Title

      IEEE International Conference on Image Processing ICIP

      Volume: - Pages: 5pages

    • Peer Reviewed / Open Access
  • [Journal Article] Simultaneous RGB and Depth Image Capture System Using Common Endoscope Based on Hight Frequency Alternative Pattern Projection2019

    • Author(s)
      Ryo Furukawa, Shiro Oka, Takahiro Kotachi,Yuki Okamoto,Shinji Tanaka,Hiroshi Kawasaki
    • Journal Title

      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)

      Volume: - Pages: 1page

    • Peer Reviewed
  • [Journal Article] Frame-Wise Auto-Calibration of Projector-Camera Pair of 3D Endoscope2019

    • Author(s)
      Ryo Furukawa, Shiro Oka, Takahiro Kotachi,Yuki Okamoto,Shinji Tanaka,Hiroshi Kawasaki
    • Journal Title

      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)

      Volume: - Pages: 1page

    • Peer Reviewed
  • [Journal Article] Non-Contact Cardiac Beat Detection Using Dot-line Based Oneshot Scanner2019

    • Author(s)
      Genki Nagamatsu, Ryo Furukawa, Hiroshi Kawasaki
    • Journal Title

      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)

      Volume: - Pages: 1page

    • Peer Reviewed
  • [Journal Article] Learning-based active 3D measurement technique using light field created by video projectors2019

    • Author(s)
      Yuki Shiba , Satoshi Ono, Ryo Furukawa , Shinsaku Hiura and Hiroshi Kawasaki
    • Journal Title

      IPSJ Transactions on Computer Vision and Applications

      Volume: Vol. 11, numbe 6 Pages: 14pages

    • DOI

      10.1186/s41074-019-0058-y

    • Peer Reviewed / Open Access
  • [Journal Article] Refraction-free Underwater Active One-shot Scan using Light Field Camera2019

    • Author(s)
      Kazuto Ichimaru, Hiroshi Kawasaki(Kyushu Univ.)
    • Journal Title

      第22回画像の認識・理解シンポジウム

      Volume: - Pages: 4pages

    • Peer Reviewed
  • [Journal Article] Simultaneous Shape Registration and Active Stereo Shape Reconstruction using Modified Bundle Adjustment2019

    • Author(s)
      Ryo Furukawa; Genki Nagamatsu; Hiroshi Kawasaki
    • Journal Title

      International Conference on 3D Vision

      Volume: - Pages: 10pages

    • DOI

      10.1109/3DV.2019.00057

    • Peer Reviewed
  • [Journal Article] Unified Underwater Structure-from-Motion2019

    • Author(s)
      Kazuto Ichimaru,Yuichi Taguchi,Hiroshi Kawasaki
    • Journal Title

      International Conference on 3D Vision

      Volume: - Pages: 9pages

    • Peer Reviewed / Open Access
  • [Journal Article] Mobile Photometric Stereo Combined with SLAM for Dense 3D Reconstruction2019

    • Author(s)
      Maxence Remy; Hideaki Uchiyama; Hiroshi Kawasaki; Diego Thomas; Vincent Nozick; Hideo Saito
    • Journal Title

      International Conference on 3D Vision

      Volume: - Pages: pp.574-582

    • DOI

      10.1109/3DV.2019.00044

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Simultaneous shape and camera-projector parameter estimation for 3D endoscopic system using CNN-based grid-oneshot scan2019

    • Author(s)
      Ryo Furukawa ; Genki Nagamatsu ; Shiro Oka ; Takahiro Kotachi ; Yuki Okamoto ; Shinji Tanaka ; Hiroshi Kawasaki
    • Journal Title

      MICCAI workshops AE-CAI, CARE (MIAR)

      Volume: Vol. 6, Iss. 6 Pages: pp.249-254

    • DOI

      10.1049/htl.2019.0070

    • Peer Reviewed / Open Access
  • [Journal Article] Human shape reconstruction with loose clothes from partially observed data by pose specific deformation2019

    • Author(s)
      Sayo Akihiko; Onizuka Hayato; Thomas Diego; Nakashima Yuta; Kawasaki Hiroshi; Ikeuchi Katsushi
    • Journal Title

      The Pacific-Rim Symposium on Image and Video Technology (PSIVT)

      Volume: vol 11854 Pages: pp225-239

    • DOI

      10.1007/978-3-030-34879-3_18

    • Peer Reviewed
  • [Journal Article] Flooded Road Detection from Driving Recorder: Training Deep Net forRare Event using GANs Semantic Information2019

    • Author(s)
      Sho Nakamura, Shintaro Ono, Hiroshi Kawasaki
    • Journal Title

      第17回ITSシンポジウム2019

      Volume: - Pages: 10pages

    • Peer Reviewed
  • [Journal Article] Flooded Road Detection from Driving Recorder: Training Deep Net forRare Event using GANs Semantic Information2019

    • Author(s)
      Sho Nakamura, Shintaro Ono, Hiroshi Kawasaki
    • Journal Title

      International Journal of Intelligent Transportation Systems Research

      Volume: - Pages: 10pages

    • DOI

      10.1007/s13177-019-00219-9

    • Peer Reviewed
  • [Journal Article] Toward Interactive Self- Annotation For Video Object BoundingBox: Recurrent Self-Learning And Hierarchical Annotation Based Framework2019

    • Author(s)
      Trung-Nghia Le, Sugimoto Akihiro, Shintaro Ono, and Hiroshi Kawasaki
    • Journal Title

      2020 IEEE Winter Conference on Applicans of Computer Vision (WACV)

      Volume: - Pages: 10 pages

    • Peer Reviewed / Open Access
  • [Journal Article] パターンの最適化による複数平面への文字情報の同時投影手法2019

    • Author(s)
      平尾 勇人,岩口 尭史,川崎 洋
    • Journal Title

      第24回一般社団法人情報処理学会シンポジウム(インタラクション2020)

      Volume: - Pages: pp403-408

    • Peer Reviewed / Open Access
  • [Presentation] 3次元内視鏡におけるambient光源にロバストな投影パターン特徴抽出2019

    • Author(s)
      古川 亮, 内藤 雅仁, 宮崎 大輔, 馬場 雅志, 日浦 慎作(広島市大), 岡 志郎, 田中 信治(広島大病院), 川崎 洋(九大)
    • Organizer
      第22回画像の認識・理解シンポジウム
  • [Presentation] セマンティック情報に基づく複数ドメイン画像変換2019

    • Author(s)
      中村 奨, 小野 晋太郎, 川崎 洋
    • Organizer
      第22回画像の認識・理解シンポジウム
  • [Presentation] 疎な構造化光による疎な3次元復元形状のパターン間の陰影学習による高密度化2019

    • Author(s)
      岩口 尭史, 栗田 拓弥, 時枝 康大(九大), 古川 亮(広島市大), 川崎 洋(九大)
    • Organizer
      第22回画像の認識・理解シンポジウム
  • [Presentation] 頭部3次元データの位置合わせによるPPG精度向上2019

    • Author(s)
      永松 元気, Ewa Magdalena Nowara, Amruta Pai, Ashok Veeraraghavan (Rice Univ.), 川崎 洋
    • Organizer
      第22回画像の認識・理解シンポジウム
  • [Presentation] Labanotation Generation from RGB videos2019

    • Author(s)
      LIU JING, Hiroshi Kawasaki
    • Organizer
      Joint Workshop on Machine Perception and Robotics (MPR2019)
    • Int'l Joint Research
  • [Presentation] Densifying sparse shape from sparse structured light measurement by learning shading2019

    • Author(s)
      Takafumi Iwaguchi,Kodai Tokieda,Ryo Furukawa, Hiroshi Kawasaki
    • Organizer
      Joint Workshop on Machine Perception and Robotics (MPR2019)
    • Int'l Joint Research
  • [Presentation] CNNを用いたドットライン検出による堅牢なアクティブ3次元計測2019

    • Author(s)
      永松 元気, 長枝 浩, 川崎 洋
    • Organizer
      ビジョン技術の実利用ワークショップ
  • [Presentation] Unsupervised 3D Human Pose Estimation with Adversarial Learning2019

    • Author(s)
      Cheng Sun, Diego Thomas, and Hiroshi Kawasaki
    • Organizer
      26th International Workshop on Frontiers of Computer Vision(IW-FCV2020)
    • Int'l Joint Research
  • [Presentation] Development of underwater 3D-reconstruction system using cross-lasers-based scanner attached on underwater ROV2019

    • Author(s)
      Hanbin Wang, Takafumi Iwaguchi, Naoki Shirakura, Jun Takamatsu, and Hiroshi Kawasaki
    • Organizer
      26th International Workshop on Frontiers of Computer Vision(IW-FCV2020)
    • Int'l Joint Research
  • [Presentation] Tensor-Based Deep Height Map Reconstruction for Rendering Time-Varying Water Drop Condensation2019

    • Author(s)
      Michihiro Mikamo, Hiroshi Kawasaki
    • Organizer
      26th International Workshop on Frontiers of Computer Vision(IW-FCV2020)
    • Int'l Joint Research
  • [Presentation] 連続画像を用いた流し撮り画像合成手法2019

    • Author(s)
      三鴨 道弘 , 川崎 洋
    • Organizer
      第177回コンピュータグラフィックスとビジュアル情報学研究発表会
  • [Remarks] ライトフィールドカメラによる屈折フリー画像生成

    • URL

      http://www.cvg.ait.kyushu-u.ac.jp/ja/research/lytro_refraction_undist.html

  • [Remarks] 水中におけるMulti-scale CNNを用いたパターン投影ステレオ

    • URL

      http://www.cvg.ait.kyushu-u.ac.jp/ja/research/underwater_projectedpatternstereo.html

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi