プロジェクタによる目的別ライトフィールドの構築手法

2018 年度 実績報告書

• 研究課題/領域番号: 16H02849
• 研究機関: 九州大学
• 研究代表者: 川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
• 研究分担者: 辻村 誠一 鹿児島大学, 理工学域工学系, 教授 (10381154) ; 日浦 慎作 広島市立大学, 情報科学研究科, 教授 (40314405) ; 古川 亮 広島市立大学, 情報科学研究科, 准教授 (50295838) ; 小野 智司 鹿児島大学, 理工学域工学系, 准教授 (90363605)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: コンピュータビジョン / ライトフィールド / プロジェクタ・カメラシステム / コンピュテーショナル・フォトグラフィ

研究実績の概要

本研究では、(Ａ)符号化したアパーチャをプロジェクタのレンズに設置することによるライトフィールド・プロジェクタを構築し、被写界深度の拡大を実現する。さらに、これを実システムで使用するため、(Ｂ)ライトフィールド・プロジェクタのキャリブレーション手法を開発する。加えて、複数台のプロジェクタを用いて、（Ｃ）合成ライトフィールドを生成することで遮蔽物の多いシーンにおける密な３次元復元を実現するシステム、および、（Ｄ）空間中の任意の平面に任意のパターンを描画するシステムを開発する。

平成30年度はこのうち、(Ａ)のシステムを実現する実機の高精度化成および、（Ｂ）の複数台のプロジェクタによる合成ライトフィールドの検証、（Ｃ）の実証実験、（Ｄ）の最適パターン設計の高速化アルゴリズムの考案を行った。
具体的には、１）これまで研究開発してきた、複数台による計測範囲の拡大手法を、評価・検証し、その効果が確認したところ、精度や安定性において過去の代表的手法を上回ったことから、それらを論文にまとめて投稿した。また、２）前年度に開発したライン・ドット方式（DOEプロジェクタ）による計測システムを、近年目覚ましい進歩を遂げているディープラーニングを利用することで、デコード性能を向上させ、テクスチャなどの障害に強い復元アルゴリズムを考案・開発した。成果は国際会議で採択され、次年度に発表を行う予定である。さらに、３）複数スクリーンへの投影システムについては、これまでネックであった計算時間を大幅に短縮するアルゴリズムを考案し期待通りの効果が得られることを確認した。加えて、４）提案手法の実証実験として、泡やゆらぎなど障害の多い水中での実データ計測実験を複数の機関と共同で行った。それらの成果を、査読付き会議・論文誌への投稿、招待講演、および研究発表を行った。

現在までの達成度 (段落)

平成30年度が最終年度であるため、記入しない。

今後の研究の推進方策

平成30年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] A structured light laser probe for gastrointestinal polyp size measurement: a preliminary comparative study (2018)
  • 著者名/発表者名: Marco Visentini-Scarzanella,Hiroshi Kawasaki,Ryo Furukawa,Marco Augusto Bonino,Simone Arolfo,Giacomo Lo Secco,Alberto Arezzo,Arianna Menciassi,Paolo Dario,Gastone Ciuti
  • 雑誌名: Endoscopy International Open 巻: Issue 05 - Volume 06 ページ: pp.602-609
  • DOI: 10.1055/a-0577-2798
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] ARシステムとプロジェクションマッピングによるランドマークベースの都市型経路案内システム (2018)
  • 著者名/発表者名: 平尾勇人，市丸和人，脇海晟，西正満，岡本泰英，河合由起子，川崎洋
  • 雑誌名: インタラクション2018 （第22回一般社団法人情報処理学会シンポジウム) 巻: - ページ: 684-689
  • 査読あり / オープンアクセス
• [雑誌論文] アクティブステレオ法による3次元内視鏡のためのHDR画像生成と投光器位置の自己校正 (2018)
  • 著者名/発表者名: 古川亮,内藤雅仁,溝森将輝,宮崎大輔,馬場雅志,日浦慎作,佐野村洋次,田中信治,川崎洋
  • 雑誌名: 電子情報通信学会論文誌 D 巻: Vol.J101-D No.8 ページ: pp.1150-1164
  • DOI: 10.14923/transinfj.2017IUP0015
  • 査読あり
• [雑誌論文] Quantitative Evaluation of the Number and the Blur Size of Input Images in Super Resolution of On-Vehicle Fisheye Camera (2018)
  • 著者名/発表者名: Teruhisa Takano, Shintaro Ono (The University of Tokyo, Japan), Hiroshi Kawasaki (Kyushu University, Japan) and Katsushi Ikeuchi (Microsoft, USA)
  • 雑誌名: The 16th ITS Asia-Pacific Forum 巻: - ページ: 11pages
  • 査読あり
• [雑誌論文] Grid-based oneshot scan using dot-line pattern (2018)
  • 著者名/発表者名: Ryo Furukawa,Hiroshi Kawasaki
  • 雑誌名: OSA Imaging and Applied Optics Congress 2018 巻: - ページ: 2pages
  • DOI: 10.1364/3D.2018.3M3G.4
  • 査読あり
• [雑誌論文] Improvement of image quality by using viewpoint following in multi-layer light field display (2018)
  • 著者名/発表者名: Ryo Furukawa,Tsukasa Tadano, Shinsaku Hiura, Hiroshi Kawasaki
  • 雑誌名: OSA Imaging and Applied Optics Congress 2018 巻: - ページ: 2pages
  • DOI: 10.1364/3D.2018.3W3G.4
  • 査読あり
• [雑誌論文] Silhouette-based Three Dimensional Image Registration Using CMA-ES with Joint Scheme of Partial Restart and Variable Fixing (2018)
  • 著者名/発表者名: Takuto Shigenobu,Takuya Ushinohama,Hiroshi Kawasaki,Satoshi Ono
  • 雑誌名: The Genetic and Evolutionary Computation Conference (GECCO) 2018 巻: - ページ: 133-144
  • DOI: 10.1145/3205651.3205791
  • 査読あり
• [雑誌論文] Representing a Partially Observed Non-Rigid 3D Human Using Eigen-Texture and Eigen-Deformation (2018)
  • 著者名/発表者名: Ryosuke Kimura, Akihiko Sayo, Fabian Lorenzo Dayrit, Yuta Nakashima, Hiroshi Kawasaki, Ambrosio Blanco, Katsushi Ikeuchi
  • 雑誌名: International Conference on Pattern Recognition (ICPR) 2018 巻: - ページ: pp1-6
  • 査読あり / オープンアクセス
• [雑誌論文] 物体表面上の熱伝播と画像データベースを基にした時間経過により成長する水滴形状表現 (2018)
  • 著者名/発表者名: 三鴨道弘、川崎洋
  • 雑誌名: Visual Computing (VC)シンポジウム2018 巻: - ページ: 6pages
  • 査読あり
• [雑誌論文] Time Varying Displacement Map Synthesis for Rendering Water Drop Condensation using Image Database (2018)
  • 著者名/発表者名: Michihiro Mikamo, Hiroshi Kawasaki
  • 雑誌名: 第21回画像の認識・理解シンポジウム 巻: - ページ: 4pages
  • 査読あり
• [雑誌論文] Grid-pattern feature detection technique using U-Nets for 3D endoscope (2018)
  • 著者名/発表者名: Masahito Naito, Ryo Furukawa, Okitomo Masashi, Miyazaki Daisuke, Masashi Baba, Shinsaku Hiura (Hiroshima City University), Yoji Sanomura, Shinji Tanaka (Hiroshima University Hospital), Hiroshi Kawasaki
  • 雑誌名: 第21回画像の認識・理解シンポジウム 巻: - ページ: 4pages
  • 査読あり
• [雑誌論文] Synthesis of human shape in loose cloth using eigen-deformation (2018)
  • 著者名/発表者名: Akihiko Sayo (Kyushu University)，Ryosuke Kimura (Kagoshima University), Fabian Lorenzo Dayrit (NAIST), Yuta Nakashima (Osaka University), Hiroshi Kawasaki (Kyushu University), Ambrosio Blanco (MSRA), Katsushi Ikeuchi (MSR)
  • 雑誌名: 第21回画像の認識・理解シンポジウム 巻: - ページ: 4pages
  • 査読あり
• [雑誌論文] Multi-scale CNN stereo and pattern removal technique for underwater active stereo system (2018)
  • 著者名/発表者名: Kazuto Ichimaru,Ryo Furukawa, Hiroshi Kawasaki
  • 雑誌名: International Conference on 3D Vision (3DV) 巻: - ページ: pp1-10
  • 査読あり / オープンアクセス
• [雑誌論文] Robust Structured Light System against Subsurface Scattering Effects Achieved by CNN-based Pattern Detection and Decoding Algorithm (2018)
  • 著者名/発表者名: Ryo Furukawa, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Hiroshi Kawasaki
  • 雑誌名: Work shop (3D Reconstruction in the Wild 2018(3DRW2018) in conjunction with European Conference on Computer Vision 2018 (ECCV2018) 巻: LNCS, volume 11129 ページ: pp 372-386
  • DOI: 10.1007/978-3-030-11009-3_22
  • 査読あり
• [雑誌論文] Wide-area shape reconstruction by 3D endoscopic system based on CNN decoding, shape registration and fusion (2018)
  • 著者名/発表者名: Ryo Furukawa, Masaki Mizomori, Shinsaku Hiura, Shiro Oka, Shinji Tanaka, Hiroshi Kawasaki
  • 雑誌名: The 5th International Workshop on Computer Assisted Robotics Endoscopy (CARE 2018) in conjunction with MICCAI 2018 巻: - ページ: 12pages
  • 査読あり
• [雑誌論文] An Attempt to Extract Watermarks from Defocused Images using Coded Aperture (2018)
  • 著者名/発表者名: Kentaro Nakai, Takeru Maehara, Toshiki Sonoda, Michihiro Mikamo, Hiroshi Kawasaki, Hajime Nagahara, Satoshi Ono
  • 雑誌名: 14th Asian Conference on Computer Vision (ACCV2018) 巻: - ページ: 16pages
  • 査読あり
• [雑誌論文] Simultaneous Independent Information Disply at Multiple Depths using Multiple Projectors and Patterns Created by Epipolar Constraint and Homography Transformation (2018)
  • 著者名/発表者名: Yuto Hirao, Hiroshi Kawasaki
  • 雑誌名: 24th ACM Symposium on Virtual Reality Software and Technology VRST2018 巻: - ページ: 2pages
  • 査読あり
• [雑誌論文] CNN Based Dense Underwater 3D Scene Reconstruction by Transfer Learning Using Bubble Database (2018)
  • 著者名/発表者名: Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
  • 雑誌名: IEEE Winter Conference on Applications of Computer Vision 2019 (WACV2019) 巻: - ページ: 10pages
  • 査読あり / オープンアクセス
• [雑誌論文] Single-wavelength and multi-parallel dotted- and solid-lines for dense and robust active 3D reconstruction (2018)
  • 著者名/発表者名: Genki Nagamatsu,Ryo Furukawa,Ryusuke Sagawa,Hiroshi Kawasaki
  • 雑誌名: International Conference on Machine Vision Applications 2019 (MVA2019) 巻: - ページ: pp1-6
  • 査読あり
• [学会発表] Active 3D shape sensing techniques for moving objects under various conditions (2018)
  • 著者名/発表者名: Hiroshi Kawasaki
  • 学会等名: Asia Workshop on Smart Sensors and Systems (AWSSS)
  • 国際学会
• [学会発表] 平面制約を用いたアクティブ全周計測システムの自動キャリブレーション手法 (2018)
  • 著者名/発表者名: 佐世晶彦、トマディエゴ、内山英昭、佐川立昌、古川亮、川崎洋
  • 学会等名: 情報処理学会 コンピュータビジョンとイメージメディア研究会
• [学会発表] 変数固定を伴う部分リスタート戦略を導入したCMA-ESを用いたシルエットベースの3 次元剛体形状位置合わせ (2018)
  • 著者名/発表者名: 重信拓音, 牛之濱拓哉, 川崎洋, 小野智司
  • 学会等名: 2018年度人工知能学会全国大会（第32回）
• [学会発表] 畳み込みニューラルネットワークによる補助線検出を用いた歪みを含む2次元コードの復号方式 (2018)
  • 著者名/発表者名: 鞍津輪一希、神薗誠、川崎洋、小野智司
  • 学会等名: 2018年度人工知能学会全国大会（第32回）
• [学会発表] Underwater accurate shape reconstruction using CNNs (2018)
  • 著者名/発表者名: Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
  • 学会等名: 第21回画像の認識・理解シンポジウム
• [学会発表] パターンの最適化による複数平面への文字情報の同時投影手法 (2018)
  • 著者名/発表者名: 平尾 勇人, 川崎 洋
  • 学会等名: 第21回画像の認識・理解シンポジウム
• [学会発表] 能動ステレオ法のためのパターン検出におけるCNNによる複数特徴の同時抽出 (2018)
  • 著者名/発表者名: 溝森 将輝, 内藤 雅仁, 古川 亮, 馬場 雅志, 宮崎 大輔, 日浦 慎作, 川崎 洋
  • 学会等名: 第21回画像の認識・理解シンポジウム
• [学会発表] 深層学習によるドライブレコーダーからの冠水映像の自動検出に関する研究 (2018)
  • 著者名/発表者名: 中村 奨, 小野 晋太郎, 川崎 洋
  • 学会等名: 第21回画像の認識・理解シンポジウム
• [学会発表] Representing full-body human shape with loose clothes by pose-dependent deformation (2018)
  • 著者名/発表者名: Akihiko Sayo , Diego Thomas , Yuta Nakashimay, Hiroshi Kawasaki , Ambrosio Blancoz, Katsushi Ikeuchi
  • 学会等名: The 14th Joint Workshop on Machine Perception and Robotics
  • 国際学会
• [学会発表] Underwater dense dynamic shape reconstruction using Multi-scale CNN (2018)
  • 著者名/発表者名: Kazuto Ichimaru, Ryo Furukawa and Hiroshi Kawasaki
  • 学会等名: The 14th Joint Workshop on Machine Perception and Robotics
  • 国際学会
• [学会発表] 学習データが少ない事象をドライブレコーダーから自動検出するための深層学習手法--冠水を対象としたGANによるDataAugmentationアプローチ-- (2018)
  • 著者名/発表者名: 中村奨,小野晋太郎,川崎洋
  • 学会等名: ITSシンポジウム2018
• [学会発表] CNNによる特徴抽出と複数フレームの形状統合による広範囲かつ高精度な3次元内視鏡システム (2018)
  • 著者名/発表者名: 古川亮,内藤雅仁,溝森将輝,馬場雅志,宮崎大輔,日浦慎作,岡志郎,田中信治,川崎洋
  • 学会等名: 電子情報通信学会 医用画像研究会 (MI)
• [学会発表] Merging SLAM and photometric stereo for 3D reconstruction with a moving camera (2018)
  • 著者名/発表者名: Maxence Remy, Hideo Saito and Hiroshi Kawasaki
  • 学会等名: 25th International Workshop on Frontiers of Computer Vision
  • 国際学会
• [学会発表] Tensor-based Texture Representations for Rendering Time-varying Water Drop Condensation (2018)
  • 著者名/発表者名: Michihiro Mikamo and Hiroshi Kawasaki
  • 学会等名: 25th International Workshop on Frontiers of Computer Vision
  • 国際学会
• [学会発表] Refraction-free Underwater Active One-shot Scan using Light Field Camera (2018)
  • 著者名/発表者名: Kazuto Ichimaru, Hiroshi Kawasaki
  • 学会等名: IEEE International Conference on Computational Photography 2019 (ICCP2019)
  • 国際学会