• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

パターン投影と深層学習を利用した頑健で高精度な3次元内視鏡システム

研究課題

研究課題/領域番号 18H04119
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関近畿大学 (2021-2022)
広島市立大学 (2018-2020)

研究代表者

古川 亮  近畿大学, 工学部, 教授 (50295838)

研究分担者 田中 信治  広島大学, 病院(医), 教授 (00260670)
佐川 立昌  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
岡 志郎  広島大学, 病院(医), 講師 (30403538)
川崎 洋  九州大学, システム情報科学研究院, 教授 (80361393)
宮崎 大輔  広島市立大学, 情報科学研究科, 准教授 (30532957)
馬場 雅志  広島市立大学, 情報科学研究科, 講師 (30281281)
日浦 慎作  兵庫県立大学, 工学研究科, 教授 (40314405)
研究期間 (年度) 2018-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
43,420千円 (直接経費: 33,400千円、間接経費: 10,020千円)
2022年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2021年度: 11,050千円 (直接経費: 8,500千円、間接経費: 2,550千円)
2020年度: 8,450千円 (直接経費: 6,500千円、間接経費: 1,950千円)
2019年度: 11,830千円 (直接経費: 9,100千円、間接経費: 2,730千円)
2018年度: 7,410千円 (直接経費: 5,700千円、間接経費: 1,710千円)
キーワード能動ステレオ / 内視鏡 / 構造化光 / パターン光源 / 微分レンダリング / 3次元内視鏡 / パターン投光 / アクティブステレオ / 形状統合 / 形状位置合わせ / 3次元内視鏡 / 能動ステレオ法 / DOE / SLAM / 3次元計測 / アクティブステレオ法 / 3次元計測
研究成果の概要

本研究では,能動ステレオ法による3次元内視鏡システムの研究開発を行った.具体的には,内視鏡の鉗子孔に挿入可能で,かつ内視鏡の広角カメラを活用可能な,超小型広角パターン光源を開発した.開発した広角パターンでの3次元形状推定のために,深層学習モデルによる高密度対応推定による単画像3次元計測技術を開発した.また,上記システムで複数フレームで計測をしたとき,それらの結果を矛盾なく統合するアルゴリズムを開発した.本開発により,内視鏡視野のほとんどを利用した高密度3次元形状を計測し,複数フレームで統合可能であることを示した.

研究成果の学術的意義や社会的意義

本研究では,能動ステレオ法による3次元内視鏡システムについて,計測範囲,計測密度を大幅に高めることに成功した.また,複数のフレームにわたって計測した計測結果を,矛盾なく統合する機能を実現した.これにより,計測システムとしての実用性を,大幅に高めることができた.開発された3次元形状計測システムは,医学的用途のみならず,工業用途(パイプの内側の計測など)などへの応用も期待できる.

報告書

(6件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 2019 実績報告書
  • 2018 実績報告書
  • 研究成果

    (37件)

すべて 2023 2022 2021 2020 2019 2018 その他

すべて 国際共同研究 (1件) 雑誌論文 (6件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 5件) 学会発表 (26件) (うち国際学会 16件) 図書 (1件) 備考 (3件)

  • [国際共同研究] Robarts Institute, Western University(カナダ)

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Multi-frame optimisation for active stereo with inverse renderingto obtain consistent shape and projector-camera posesfor 3D endoscopic system2022

    • 著者名/発表者名
      Furukawa Ryo、Mikamo Michihiro、Sagawa Ryusuke、Okamoto Yuki、Oka Shiro、Tanaka Shinji、Kawasaki Hiroshi
    • 雑誌名

      Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization

      巻: 0 号: 4 ページ: 1-9

    • DOI

      10.1080/21681163.2022.2155578

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Simultaneous estimation of projector and camera poses for multiple oneshot scan using pixel-wise correspondences estimated by U-Nets and GCN2021

    • 著者名/発表者名
      Furukawa Ryo、Mikamo Michihiro、Kawasaki Hiroshi、Sagawa Ryusuke、Oka Shiro、Kotachi Takahiro、Okamoto Yuki、Tanaka Shinji
    • 雑誌名

      Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization

      巻: 10 号: 5 ページ: 540-548

    • DOI

      10.1080/21681163.2021.2009376

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Learning-based active 3D measurement technique using light field created by video projectors2019

    • 著者名/発表者名
      Yuki Shiba1* , Satoshi Ono1 , Ryo Furukawa2 , Shinsaku Hiura2 and Hiroshi Kawasaki3
    • 雑誌名

      IPSJ Transactions on Computer Vision and Applications

      巻: Vol. 11, numbe 6 号: 1 ページ: 1-14

    • DOI

      10.1186/s41074-019-0058-y

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Simultaneous shape and camera-projector parameter estimation for 3D endoscopic system using CNN-based grid-oneshot scan2019

    • 著者名/発表者名
      Ryo Furukawa 1 ; Genki Nagamatsu 2 ; Shiro Oka 3 ; Takahiro Kotachi 4 ; Yuki Okamoto 4 ; Shinji Tanaka 4 ; Hiroshi Kawasaki 2
    • 雑誌名

      MICCAI workshops AE-CAI, CARE (MIAR)

      巻: Vol. 6, Iss. 6 号: 6 ページ: 249-254

    • DOI

      10.1049/htl.2019.0070

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 構造化光投影による3次元内視鏡の開発2019

    • 著者名/発表者名
      古川 亮,川崎 洋
    • 雑誌名

      光技術コンタクト

      巻: 57 ページ: 47-52

    • 関連する報告書
      2018 実績報告書
  • [雑誌論文] A structured light laser probe for gastrointestinal polyp size measurement: a preliminary comparative study2018

    • 著者名/発表者名
      Marco Visentini-Scarzanella,Hiroshi Kawasaki,Ryo Furukawa,Marco Augusto Bonino,Simone Arolfo,Giacomo Lo Secco,Alberto Arezzo,Arianna Menciassi,Paolo Dario,Gastone Ciuti
    • 雑誌名

      Endoscopy International Open

      巻: Issue 05 - Volume 06 号: 05 ページ: 602-609

    • DOI

      10.1055/a-0577-2798

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Single and multi-frame auto-calibration for 3D endoscopy with differential rendering2023

    • 著者名/発表者名
      Ryo Furukawa, Ryusuke Sagawa, Shiro Oka, Shinji Tanaka, and Hiroshi Kawasaki
    • 学会等名
      Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Single-shot dense active stereo with pixel-wise phase estimation based on grid-structure using CNN and correspondence estimation using GCN2022

    • 著者名/発表者名
      Furukawa Ryo、Mikamo Michihiro、Sagawa Ryusuke、Kawasaki Hiroshi
    • 学会等名
      IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 3D endoscope system with AR display superimposing dense and wide-angle-of-view 3D points obtained by using micro pattern projector2022

    • 著者名/発表者名
      Mikamo Michihiro、Furukawa Ryo、Oka Shiro、Kotachi Takahiro、Okamoto Yuki、Tanaka Shinji、Sagawa Ryusuke、Kawasaki Hiroshi
    • 学会等名
      44th Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] データ拡張による投影パターン検出の安定化と MRF 最適化によ る対応付の改善によるワンショット三次元形状計測の高精度化2022

    • 著者名/発表者名
      原田寛大,三鴨道弘,古川亮,佐川立 昌,川崎洋
    • 学会等名
      画像の認識理解シンポジウム MIRU2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] アクティブステレオ法における複数フレーム計測結果の全体 最適化法2022

    • 著者名/発表者名
      古川亮, 三鴨道弘 , 佐川立昌, 川崎洋
    • 学会等名
      画像の認識理解シンポジウム MIRU2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Single-shot dense active stereo with pixel-wise phase estimation based on grid-structure using CNN and correspondence estimation using GCN2022

    • 著者名/発表者名
      Ryo Furukawa, Michihiro Mikamo, Ryusuke Sagawa, Hiroshi Kawasaki
    • 学会等名
      IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] GCN-Calculated Graph-Feature Embedding for 3D Endoscopic System Based on Active Stereo2021

    • 著者名/発表者名
      Michihiro Mikamo, Hiroshi Kawasaki, Ryusuke Sagawa, Ryo Furukawa
    • 学会等名
      IEEE/CVF Winter Conference on ApplicaIW-FCV 2021: Frontiers of Computer Visiontions of Computer Vision (WACV)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] A Method for Adding Motion-Blur on Arbitrary Objects by Using Auto-Segmentation and Color Compensation Techniques2021

    • 著者名/発表者名
      Michihiro Mikamo, Ryo Furukawa, Hiroshi Kawasaki
    • 学会等名
      Michihiro Mikamo, Ryo Furukawa, Hiroshi Kawasaki
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Active Stereo Method for 3D Endoscopes using Deep-layer GCN and Graph Representation with Proximity Information2021

    • 著者名/発表者名
      Michihiro Mikamo, Ryo Furukawa, Shiro Oka, Takahiro Kotachi, Yuki Okamoto, Shinji Tanaka, Ryusuke Sagawa, Hiroshi Kawasaki
    • 学会等名
      43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 公開 Oneshot dense 3D active stereo based on pixel-wise correspondence estimation using U-Nets and GCN2021

    • 著者名/発表者名
      Michihiro Mikamo, Ryusuke Sagawa, Hiroshi Kawasaki, Ryo Furukawa
    • 学会等名
      画像の認識理解シンポジウム MIRU2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] GCN-Calculated Graph-Feature Embedding for 3D Endoscopic System Based on Active Stereo2021

    • 著者名/発表者名
      Michihiro Mikamo, Hiroshi Kawasaki, Ryusuke Sagawa, Ryo Furukawa
    • 学会等名
      Frontiers of Computer Vision - 27th International Workshop, IW-FCV 2021,
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Domain invariantな画像特徴によるCGからの能動ステレオシステムの学習2020

    • 著者名/発表者名
      三鴨 道弘 川崎 洋 佐川 立昌 古川 亮
    • 学会等名
      情報処理学会 CVIM研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Fully Auto-calibrated Active-stereo-based 3D Endoscopic System using Correspondence Estimation with Graph Convolutional Network2020

    • 著者名/発表者名
      Ryo Furukawa, Shiro Oka, Takahiro Kotachi, Yuki Okamoto, Shinji Tanaka, Ryusuke Sagawa, Hiroshi Kawasaki
    • 学会等名
      42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Single-wavelength and multi-parallel dotted-and solid-lines for dense and robust active 3D reconstruction2019

    • 著者名/発表者名
      Genki Nagamatsu, Ryo Furukawa, Ryusuke Sagawa, Hiroshi Kawasaki
    • 学会等名
      2019 16th International Conference on Machine Vision Applications (MVA)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Simultaneous shape registration and active stereo shape reconstruction using modified bundle adjustment2019

    • 著者名/発表者名
      Ryo Furukawa, Genki Nagamatsu, Hiroshi Kawasaki
    • 学会等名
      2019 International Conference on 3D Vision (3DV)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 3次元内視鏡におけるambient光源にロバストな投影パターン特徴抽出2019

    • 著者名/発表者名
      古川 亮, 内藤 雅仁, 宮崎 大輔, 馬場 雅志, 日浦 慎作(広島市大), 岡 志郎, 田中 信治(広島大病院), 川崎 洋(九大)
    • 学会等名
      画像の認識理解シンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 疎な構造化光による疎な3次元復元形状のパターン間の陰影学習による高密度化2019

    • 著者名/発表者名
      岩口 尭史, 栗田 拓弥, 時枝 康大(九大), 古川 亮(広島市大), 川崎 洋(九大)
    • 学会等名
      画像の認識理解シンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] CNNによる特徴抽出と複数フレームの形状統合による広範囲かつ高精度な3次元内視鏡システム2019

    • 著者名/発表者名
      古川 亮, 内藤 雅仁, 溝森 将輝, 馬場 雅志, 宮崎 大輔, 日浦 慎作, 岡 志郎, 田中 信治, 川崎 洋
    • 学会等名
      電子情報通信学会,医用画像研究会,MI2018-88
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Robust structured light system against subsurface scattering effects achieved by CNN-based pattern detection and decoding algorithm2018

    • 著者名/発表者名
      Ryo Furukawa, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Hiroshi Kawasaki
    • 学会等名
      Computer Vision, ECCV 2018 Workshops
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Improvement of image quality by using viewpoint following in multi-layer light field display2018

    • 著者名/発表者名
      Ryo Furukawa, Tsukasa Tadano, Shinsaku Hiura, Hiroshi Kawasaki
    • 学会等名
      3D Image Acquisition and Display: Technology, Perception and Applications: OSA imaging congress
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Grid-based oneshot scan using dot-line pattern2018

    • 著者名/発表者名
      Ryo Furukawa, Hiroshi Kawasaki
    • 学会等名
      3D Image Acquisition and Display: Technology, Perception and Applications: OSA imaging congress
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Multi-scale cnn stereo and pattern removal technique for underwater active stereo system2018

    • 著者名/発表者名
      Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
    • 学会等名
      International Conference on 3D Vision (3DV)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Wide-Area Shape Reconstruction by 3D Endoscopic System Based on CNN Decoding, Shape Registration and Fusion2018

    • 著者名/発表者名
      Ryo Furukawa, Masaki Mizomori, Shinsaku Hiura, Shiro Oka, Shinji Tanaka, Hiroshi Kawasaki
    • 学会等名
      Computer Assisted Robotic Endoscopy: MICCAI 2018 workshop
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 能動ステレオ法のためのパターン検出におけるCNNによる複数特徴の同時抽出2018

    • 著者名/発表者名
      溝森 将輝, 内藤 雅仁, 古川 亮, 馬場 雅志, 宮崎 大輔, 日浦 慎作, 川崎 洋
    • 学会等名
      第 21 回 画像の認識・理解シンポジウム
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Grid-pattern feature detection technique using U-Nets for 3D endoscope2018

    • 著者名/発表者名
      Masahito Naito, Ryo Furukawa, Masashi Okitomo, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Yoji Sanomura, Shinji Tanaka, and Hiroshi Kawasaki
    • 学会等名
      第 21 回 画像の認識・理解シンポジウム
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Underwater accurate shape reconstruction using CNNs2018

    • 著者名/発表者名
      Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
    • 学会等名
      第 21 回 画像の認識・理解シンポジウム
    • 関連する報告書
      2018 実績報告書
  • [図書] Active Lighting and Its Application for Computer Vision, 40 Years of History of Active Lighting Techniques2020

    • 著者名/発表者名
      Katsushi Ikeuchi, Yasuyuki Matsushita, Ryusuke Sagawa, Hiroshi Kawasaki, Yasuhiro Mukaigawa, Ryo Furukawa, Daisuke Miyazaki
    • 総ページ数
      536
    • 出版者
      Springer
    • ISBN
      9783030565770
    • 関連する報告書
      2020 実績報告書
  • [備考] 「人体の内外表面形状すべてをリアルタイム計測するシステム」

    • URL

      https://www.hyper3dsensing.com/

    • 関連する報告書
      2022 実績報告書
  • [備考] 「人体の内外表面形状すべてをリアルタイム計測するシステム」

    • URL

      https://www.hyper3dsensing.com/index.html

    • 関連する報告書
      2021 実績報告書
  • [備考] 人体の内外表面形状すべてをリアルタイム計測するシステム

    • URL

      http://www.hyper3dsensing.com/

    • 関連する報告書
      2019 実績報告書

URL: 

公開日: 2018-04-23   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi