屈折を含む非中心投影画像からの汎用的3次元復元手法の開発

2020 年度 実績報告書

• 研究課題/領域番号: 18K19824
• 研究機関: 九州大学
• 研究代表者: 川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
• 研究分担者: 小野 晋太郎 東京大学, 生産技術研究所, 特任准教授 (80526799)
• 研究期間 (年度): 2018-06-29 – 2021-03-31
• キーワード: ライトフィールドカメラ / アクティブ水中3次元計測 / SLAM / 水中ROV / DOE

研究実績の概要

本研究では、以下３つの手法を研究開発し、水中での広範囲なアクティブ３次元復元を実現する。(Ａ) 光線空間計測カメラを用いて、水中シーンを撮影して得られた光線空間を再構成することで中心投影画像の合成を実現する。また、水中でもレーザは直進することから、レーザ平面も平面のままであることを利用して、(Ｂ)共面生に基づくアクティブ・ステレオ３次元復元アルゴリズムを開発する。最終的に、前記（Ａ）と（Ｂ）を組み合わせて、(Ｃ) ＳＬＡＭによる水中での形状計測および運動する人物や魚などの計測・運動解析の実現を目指す。

令和元年度までにおいて、（Ａ）（Ｂ）（Ｃ）の基礎的な研究が完了し、一定の成果が得られたことから、令和２年度においては、それらを組み合わせて（Ｃ）のＳＬＡＭアルゴリズムの開発および実データによる検証を目指した。具体的には、水中ロボット（ＲＯＶ）に複数のラインレーザを搭載しプールで計測実験を行い、ＳＬＡＭにより広範囲のシーン形状の復元を高密度に行った。使用したレーザの本数が少ないため、オリジナルの復元結果は疎であり、そのままでは位置合わせなどができないため、位置合わせのために撮影した画像のレーザ部分に深層学習により高精度にマスクをかけ、それ以外の部分でパッシブＳＬＡＭを適用し、ＲＯＶの初期位置と姿勢および粗い形状を得た。その初期位置を用いて、共面性復元結果であるレーザ形状を統合し、最後にバンドル調整により高精度・高密度なシーン復元を実現した。これら成果を査読付き国際会議へ投稿を行った。また、本内容を九州大学から特許出願の予定である。

研究成果

• [国際共同研究] Rice university/MIT/Microsoft(米国)
  • 国名: 米国
  • 外国機関名: Rice university/MIT/Microsoft
• [国際共同研究] 北京大学(中国)
  • 国名: 中国
  • 外国機関名: 北京大学
• [国際共同研究] アムステルダム大学(オランダ)
  • 国名: オランダ
  • 外国機関名: アムステルダム大学
• [雑誌論文] Attention R-CNN for Accident Detection (2020)
  • 著者名/発表者名: Trung-Nghia Le,Akihiro Sugimoto,Shintaro Ono,Hiroshi Kawasaki
  • 雑誌名: The 2020 IEEE Intelligent Vehicles Symposium (IV2020) 巻: - ページ: 8 pages
  • DOI: 10.1109/IV47402.2020.9304730
  • 査読あり
• [雑誌論文] Fully Auto-calibrated Active-stereo-based 3D Endoscopic System using Correspondence Estimation with Graph Convolutional Network (2020)
  • 著者名/発表者名: Ryo Furukawa1 , Shiro Oka2 , Takahiro Kotachi2 , Yuki Okamoto2 , Shinji Tanaka2 , Ryusuke Sagawa3 , and Hiroshi Kawasaki4
  • 雑誌名: IEEE Engineering in Medicine and Biology Society in conjunction with the 43rd Annual Conference of the Canadian Medical and Biological Engineering Society 巻: - ページ: pp.4357-4360
  • DOI: 10.1109/EMBC44109.2020.9176417
  • 査読あり / オープンアクセス
• [雑誌論文] PPG3D: Does 3D head tracking improve camera-based PPG estimation? (2020)
  • 著者名/発表者名: Genki Nagamatsu1 , Ewa Magdalena Nowara2 , Amruta Pai2 , Ashok Veeraraghavan2 and Hiroshi Kawasaki1
  • 雑誌名: IEEE Engineering in Medicine and Biology Society in conjunction with the 43rd Annual Conference of the Canadian Medical and Biological Engineering Society 巻: - ページ: pp.1194-1197
  • DOI: 10.1109/EMBC44109.2020.9176065
  • 査読あり / オープンアクセス
• [雑誌論文] 3D IMAGING FOR THERMAL CAMERAS USING STRUCTURED LIGHT (2020)
  • 著者名/発表者名: Jack Erdozain Jr.,Kazuto Ichimaru,Tomohiro Maeda,Hiroshi Kawasaki,Ramesh Raskar,Achuta Kadambi
  • 雑誌名: 2020 IEEE International Conference on Image Processing(ICIP2020) 巻: - ページ: pp.2795-2799
  • DOI: 10.1109/ICIP40778.2020.9191297
  • 査読あり / 国際共著
• [雑誌論文] 連続画像から取得した低ランク画像を利用した流し撮り画像合成 (2020)
  • 著者名/発表者名: 三鴨道弘 , 川崎洋
  • 雑誌名: 第23回画像の認識・理解シンポジウム(MIRU2020) 巻: - ページ: 4 pages
  • 査読あり
• [雑誌論文] 屈折プロジェクションマッピングのためのオプティカル フローに基づく深層学習による投影パターン補正 (2020)
  • 著者名/発表者名: 岩口 尭史,川崎 洋
  • 雑誌名: 第23回画像の認識・理解シンポジウム(MIRU2020) 巻: - ページ: 4 pages
  • 査読あり
• [雑誌論文] 符号化開口を鍵とする情報秘匿方式の基礎検討 (2020)
  • 著者名/発表者名: 濱崎弘樹, 竹下真悟 , 川崎洋 , 長原一 , 小野智司
  • 雑誌名: 第23回画像の認識・理解シンポジウム(MIRU2020) 巻: - ページ: 4 pages
  • 査読あり
• [雑誌論文] 時空間レーザースペックルパターンの低次元埋め込みによる物体表面の微小運動の推定 (2020)
  • 著者名/発表者名: 樋口雄介 , 古川亮 , 川崎洋 , 佐川立昌
  • 雑誌名: 第23回画像の認識・理解シンポジウム(MIRU2020) 巻: - ページ: 4 pages
  • 査読あり
• [雑誌論文] FreeCam3D: Snapshot Structured Light 3D with Freely-Moving Cameras (2020)
  • 著者名/発表者名: Yicheng Wu1 , Vivek Boominathan1 , Xuan Zhao1 , Jacob T. Robinson1 , Hiroshi Kawasaki2 , Aswin Sankaranarayanan3 , and Ashok Veeraraghavan1
  • 雑誌名: 16TH EUROPEAN CONFERENCE ON COMPUTER VISION(ECCV2020) 巻: - ページ: 17 pages
  • DOI: 10.1007/978-3-030-58583-9_19
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Unsupervised 3D Human Pose Estimation in Multi-view-multi-pose Video (2020)
  • 著者名/発表者名: Cheng Sun,Diego Thomas,Hiroshi Kawasaki
  • 雑誌名: 25ｔｈ International Conference on pattern recognition (ICPR2020) 巻: - ページ: 6 pages
  • 査読あり
• [雑誌論文] Dense Pixel-wise Micro-motion Estimation of Object Surface by using Low Dimensional Embedding of Laser Speckle Pattern (2020)
  • 著者名/発表者名: Ryusuke Sagawa, Yusuke Higuchi, Hiroshi Kawasaki, Ryo Furukawa, Takahiro Ito
  • 雑誌名: 15th Asian conference on computer Vision (ACCV2020) 巻: - ページ: 16 pages
  • 査読あり / オープンアクセス
• [雑誌論文] High-Resolution Image Data Collection Scheme for Road Sensing Using Wide-Angle Cameras on General-Use Vehicle Criteria to Include/Exclude Collected Images for Super Resolution (2020)
  • 著者名/発表者名: Teruhisa Takano, Shintaro Ono, Hiroshi Kawasaki, Katsushi Ikeuchi
  • 雑誌名: International Journal of Intelligent Transportation Systems Research 巻: - ページ: 13 pages
  • DOI: 10.1007/s13177-020-00243-0
  • 査読あり / オープンアクセス
• [雑誌論文] Self-calibration of multiple line lasers and a camera for underwater 3D shape reconstruction (2020)
  • 著者名/発表者名: Genki Nagamatsu, Jun Takamatsu, Hiroshi Kawasaki
  • 雑誌名: The 27th International Workshop on Frontiers of Computer Vision (IW-FCV2021) 巻: - ページ: 16 pages
  • 査読あり
• [雑誌論文] Focusing on Discrimination between Road Conditions and Weather in Driving Video Analysis (2020)
  • 著者名/発表者名: Hanwei Zhang, Hiroshi Kawasaki, Tsunenori Mine, Shintaro Ono
  • 雑誌名: The 27th International Workshop on Frontiers of Computer Vision (IW-FCV2021) 巻: - ページ: 12 pages
  • 査読あり
• [雑誌論文] GCN-Calculated Graph-Feature Embedding for 3D Endoscopic System based on Active Stereo (2020)
  • 著者名/発表者名: Michihiro Mikamo, Hiroshi Kawasaki, Ryusuke Sagawa, Ryo Furukawa
  • 雑誌名: The 27th International Workshop on Frontiers of Computer Vision (IW-FCV2021) 巻: - ページ: 14 pages
  • 査読あり
• [学会発表] Extreme 3D センシング (2020)
  • 著者名/発表者名: 川崎洋
  • 学会等名: 第26回画像センシングシンポジウム
  • 招待講演
• [学会発表] Auto-calibrated 3D endoscope with GCN-based correspondence search (2020)
  • 著者名/発表者名: Ryo Furukawa,Shiro Oka,Takahiro Kotachi,Yuki Okamoto,Shinji Tanaka,Hiroshi Kawasaki
  • 学会等名: 第23回画像の認識・理解シンポジウム(MIRU2020)
• [学会発表] PPG3D : 頭部の３次元追跡によるカメラを用いたPPG推定の精度向上 (2020)
  • 著者名/発表者名: 永松元気 , Ewa Magdalena Nowara, Amruta Pai, Ashok Veeraraghavan , 川崎洋
  • 学会等名: 第23回画像の認識・理解シンポジウム(MIRU2020)
• [学会発表] ドライブレコーダー画像からの路面の異常事象検出に関する研究 (2020)
  • 著者名/発表者名: 中村奨, Zhang Hanwei, 峯恒憲 , 小野晋太郎 , 川崎洋
  • 学会等名: 第23回画像の認識・理解シンポジウム(MIRU2020)
• [学会発表] 高速・小型・高精度・水中など極端環境における3次元計測の課題 -アクティブ光源による解決レシピ- (2020)
  • 著者名/発表者名: 川崎 洋,古川 亮
  • 学会等名: 精密工学会 画像応用技術専門委員会 2020年度第３回定例研究会,2020,2020,1,0
  • 招待講演
• [学会発表] Analysis and Classification of Gestures in TED Talks (2020)
  • 著者名/発表者名: Hitoshi TESHIMA, Naoki WAKE, Diego THOMAS, Yuta NAKASHIMA, Hiroshi KAWASAKI , Katsushi IKEUCHI
  • 学会等名: パターン認識・メディア理解研究会 (PRMU)2020, Vol.120 , No.187
• [学会発表] ドライブレコーダーデータから深層学習により推定した天候情報を用いた急ブレーキ推定 (2020)
  • 著者名/発表者名: 張ハンウェイ, 佐藤祐大, 川崎洋, 峯恒憲, 小野晋太郎
  • 学会等名: 第18回ITSシンポジウム2020
• [学会発表] 深層学習による車載カメラ映像の半自動ラベル付けと交通事故シーンの認識 (2020)
  • 著者名/発表者名: レ チュンギア, 小野晋太郎, 杉本晃宏, 川崎洋
  • 学会等名: 第18回ITSシンポジウム2020
• [学会発表] バックワードプローブによる交通状態推定のための 対向観測手法の検討 (2020)
  • 著者名/発表者名: 河合 克哉, 竹之内 篤, 桑原 雅夫, 佐藤 祐大, 張 涵?, 峯 恒憲, 川崎 洋, 小野 晋太郎
  • 学会等名: 第18回ITSシンポジウム2020
• [学会発表] 符号化開口を鍵とする情報秘匿方式の基礎検討 (2020)
  • 著者名/発表者名: 水俣友希, 石田祥馬, 濱崎弘樹, 川崎洋, 長原一, 小野智司
  • 学会等名: 情報処理学会 第83回全国大会
• [図書] Active Lighting and Its Application for Computer Vision (2020)
  • 著者名/発表者名: Katsushi IkeuchiYasuyuki MatsushitaRyusuke SagawaHiroshi KawasakiYasuhiro MukaigawaRyo FurukawaDaisuke Miyazaki
  • 総ページ数: 303
  • 出版者: springer
  • ISBN: 978-3-030-56577-0
• [備考] ライトフィールドカメラによる屈折フリー画像生成
  • URL: http://www.cvg.ait.kyushu-u.ac.jp/ja/research/lytro_refraction_undist.html
• [備考] 水中におけるMulti-scale CNNを用いたパターン投影ステレオ
  • URL: http://www.cvg.ait.kyushu-u.ac.jp/ja/research/underwater_projectedpatternstereo.html
• [備考] ジオメトリ設定を一般化した水中Structure-from-Motionの研究
  • URL: http://www.cvg.ait.kyushu-u.ac.jp/ja/research/uncalibrated_sfm_underwater.html
• [備考] 時空間レーザースペックルパターンの低次元埋め込みによる物体表面の微小運動の推定
  • URL: http://www.cvg.ait.kyushu-u.ac.jp/ja/research/speckle2020.html