• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Robust and precise 3D endoscope system based on pattern projection and deep learning

Research Project

Project/Area Number 18H04119
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionKindai University (2022)
Hiroshima City University (2018-2021)

Principal Investigator

古川 亮  近畿大学, 工学部, 教授 (50295838)

Co-Investigator(Kenkyū-buntansha) 田中 信治  広島大学, 病院(医), 教授 (00260670)
佐川 立昌  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
岡 志郎  広島大学, 病院(医), 講師 (30403538)
川崎 洋  九州大学, システム情報科学研究院, 教授 (80361393)
宮崎 大輔  広島市立大学, 情報科学研究科, 准教授 (30532957)
馬場 雅志  広島市立大学, 情報科学研究科, 講師 (30281281)
日浦 慎作  兵庫県立大学, 工学研究科, 教授 (40314405)
Project Period (FY) 2018-04-01 – 2023-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥43,420,000 (Direct Cost: ¥33,400,000、Indirect Cost: ¥10,020,000)
Fiscal Year 2022: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2021: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
Fiscal Year 2020: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
Fiscal Year 2019: ¥11,830,000 (Direct Cost: ¥9,100,000、Indirect Cost: ¥2,730,000)
Fiscal Year 2018: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Keywords3次元内視鏡 / 能動ステレオ法 / DOE / 構造化光 / SLAM / 3次元内視鏡 / パターン投光 / アクティブステレオ / 形状統合 / 形状位置合わせ / 3次元計測 / 内視鏡 / アクティブステレオ法 / 3次元計測
Outline of Annual Research Achievements

2020年度には、「(3)形状解像度,距離精度の向上」「(4)(深層学習による)複雑な対象形状への対応」を進めるための方策として,2019年度から継続して,格子パターンの抽出結果から格子グラフを作成し,グラフに対して作用するグラフ畳み込みネットワークを適用することでグラフのノードごとに格子点のIDを推定するアルゴリズムを開発した.
さらに,そのようなグラフ畳み込みネットワークの学習を行うために,CGで学習用データを生成し,CGデータから学習用データを生成する手法を開発した.このような手法では,CGによって学習用画像を生成すると共に,例えばノードごとに対応IDを色で表現した画像をレンダリングすることによって,各ノードについての正解ID値をCG画像からサンプリングすることができる.また,大腸など,非常に複雑な対象形状への対応の準備として,大腸に似せた形状モデルに対して,パターン投影画像のCG描画を行う実験を実施した.研究成果の一部は,国際学会EMBCで発表された.
また,投影パターンから,深層学習によって画像特徴(パターンの格子構造,コード情報など)を取得する際,大量の学習データを作成する必要があるが,このようなデータもCGで作成することは解決策の一つである.今年度は,CGで作成されたパターンで深層学習モデルの事前学習を行い,実際の少量のデータで実データに適合させる方法を開発した.その成果は,情報処理学会研究報告で報告された.
また,3次元内視鏡に関する研究の一部を,2020年度に出版した大学院向けの教科書に掲載した.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究の課題としては,「(1)消化管内部の環境への対応」「(2)対象の色情報と距離情報の同時取得」「(3)形状解像度,距離精度の向上」「(4)(深層学習による)複雑な対象形状への対応」「(5)実際の人体内部の計測の実現」が実施予定であり,2020年度には,これらのうち(3)(4)で成果が得られた.
ただし,(1)(2)について,問題が生じた.白色光とパターン光を切り替え可能なパターン光源において,超小型パターン投光器の先端部分の強度が十分でない場合があることがわかった.このため,白色光とパターン光の切り替え以外の方法で,(2)の情報を得られる方法を模索中である.
また,「(5)実際の人体内部の計測の実現」について,システムの計測制度は向上しているものの,動物実験を正当化するだけの計測の安定性が得られていないことから,動物実験が行えない状況にある.(5)を実現するためには,システム全体の安定性を向上させ,動物実験を行う必要がある.
これらのことから,進捗については遅れていると判断する.

Strategy for Future Research Activity

2021年度には、形状計測の安定性をさらに向上させるために,事前の校正情報なしで得られたパターン投影画像から、自己校正を利用してフレーム毎に形状情報を取得する方法の開発と,複数フレームの形状計測情報を矛盾なく統合するための最適化を行う方法の開発を行う.また,これらの手法をパッケージ化し,動物実験などに利用可能な,安定したシステムにすることを目指す.また,医療従事者が実際に利用可能なシステムを実現するために,AR,VRによって,計測された3次元情報を提示するシステムを開発する.

Report

(3 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report

Research Products

(22 results)

All 2021 2020 2019 2018 Other

All Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (16 results) (of which Int'l Joint Research: 9 results) Book (1 results) Remarks (1 results)

  • [Journal Article] Learning-based active 3D measurement technique using light field created by video projectors2019

    • Author(s)
      Yuki Shiba1* , Satoshi Ono1 , Ryo Furukawa2 , Shinsaku Hiura2 and Hiroshi Kawasaki3
    • Journal Title

      IPSJ Transactions on Computer Vision and Applications

      Volume: Vol. 11, numbe 6 Pages: 1-14

    • DOI

      10.1186/s41074-019-0058-y

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Simultaneous shape and camera-projector parameter estimation for 3D endoscopic system using CNN-based grid-oneshot scan2019

    • Author(s)
      Ryo Furukawa 1 ; Genki Nagamatsu 2 ; Shiro Oka 3 ; Takahiro Kotachi 4 ; Yuki Okamoto 4 ; Shinji Tanaka 4 ; Hiroshi Kawasaki 2
    • Journal Title

      Healthcare Technology Letters

      Volume: Vol. 6, Iss. 6 Pages: 249-254

    • DOI

      10.1049/htl.2019.0070

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 構造化光投影による3次元内視鏡の開発2019

    • Author(s)
      古川 亮,川崎 洋
    • Journal Title

      光技術コンタクト

      Volume: 57 Pages: 47-52

    • Related Report
      2018 Annual Research Report
  • [Journal Article] A structured light laser probe for gastrointestinal polyp size measurement: a preliminary comparative study2018

    • Author(s)
      Marco Visentini-Scarzanella,Hiroshi Kawasaki,Ryo Furukawa,Marco Augusto Bonino,Simone Arolfo,Giacomo Lo Secco,Alberto Arezzo,Arianna Menciassi,Paolo Dario,Gastone Ciuti
    • Journal Title

      Endoscopy International Open

      Volume: Issue 05 - Volume 06 Pages: 602-609

    • DOI

      10.1055/a-0577-2798

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] GCN-Calculated Graph-Feature Embedding for 3D Endoscopic System Based on Active Stereo2021

    • Author(s)
      Michihiro Mikamo, Hiroshi Kawasaki, Ryusuke Sagawa, Ryo Furukawa
    • Organizer
      Frontiers of Computer Vision - 27th International Workshop, IW-FCV 2021,
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Domain invariantな画像特徴によるCGからの能動ステレオシステムの学習2020

    • Author(s)
      三鴨 道弘 川崎 洋 佐川 立昌 古川 亮
    • Organizer
      情報処理学会 CVIM研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Fully Auto-calibrated Active-stereo-based 3D Endoscopic System using Correspondence Estimation with Graph Convolutional Network2020

    • Author(s)
      Ryo Furukawa, Shiro Oka, Takahiro Kotachi, Yuki Okamoto, Shinji Tanaka, Ryusuke Sagawa, Hiroshi Kawasaki
    • Organizer
      42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Single-wavelength and multi-parallel dotted-and solid-lines for dense and robust active 3D reconstruction2019

    • Author(s)
      Genki Nagamatsu, Ryo Furukawa, Ryusuke Sagawa, Hiroshi Kawasaki
    • Organizer
      2019 16th International Conference on Machine Vision Applications (MVA)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Simultaneous shape registration and active stereo shape reconstruction using modified bundle adjustment2019

    • Author(s)
      Ryo Furukawa, Genki Nagamatsu, Hiroshi Kawasaki
    • Organizer
      2019 International Conference on 3D Vision (3DV)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 3次元内視鏡におけるambient光源にロバストな投影パターン特徴抽出2019

    • Author(s)
      古川 亮, 内藤 雅仁, 宮崎 大輔, 馬場 雅志, 日浦 慎作(広島市大), 岡 志郎, 田中 信治(広島大病院), 川崎 洋(九大)
    • Organizer
      画像の認識理解シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 疎な構造化光による疎な3次元復元形状のパターン間の陰影学習による高密度化2019

    • Author(s)
      岩口 尭史, 栗田 拓弥, 時枝 康大(九大), 古川 亮(広島市大), 川崎 洋(九大)
    • Organizer
      画像の認識理解シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] CNNによる特徴抽出と複数フレームの形状統合による広範囲かつ高精度な3次元内視鏡システム2019

    • Author(s)
      古川 亮, 内藤 雅仁, 溝森 将輝, 馬場 雅志, 宮崎 大輔, 日浦 慎作, 岡 志郎, 田中 信治, 川崎 洋
    • Organizer
      電子情報通信学会,医用画像研究会,MI2018-88
    • Related Report
      2018 Annual Research Report
  • [Presentation] Robust structured light system against subsurface scattering effects achieved by CNN-based pattern detection and decoding algorithm2018

    • Author(s)
      Ryo Furukawa, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Hiroshi Kawasaki
    • Organizer
      Computer Vision, ECCV 2018 Workshops
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Improvement of image quality by using viewpoint following in multi-layer light field display2018

    • Author(s)
      Ryo Furukawa, Tsukasa Tadano, Shinsaku Hiura, Hiroshi Kawasaki
    • Organizer
      3D Image Acquisition and Display: Technology, Perception and Applications: OSA imaging congress
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Grid-based oneshot scan using dot-line pattern2018

    • Author(s)
      Ryo Furukawa, Hiroshi Kawasaki
    • Organizer
      3D Image Acquisition and Display: Technology, Perception and Applications: OSA imaging congress
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Multi-scale cnn stereo and pattern removal technique for underwater active stereo system2018

    • Author(s)
      Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
    • Organizer
      International Conference on 3D Vision (3DV)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Wide-Area Shape Reconstruction by 3D Endoscopic System Based on CNN Decoding, Shape Registration and Fusion2018

    • Author(s)
      Ryo Furukawa, Masaki Mizomori, Shinsaku Hiura, Shiro Oka, Shinji Tanaka, Hiroshi Kawasaki
    • Organizer
      Computer Assisted Robotic Endoscopy: MICCAI 2018 workshop
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 能動ステレオ法のためのパターン検出におけるCNNによる複数特徴の同時抽出2018

    • Author(s)
      溝森 将輝, 内藤 雅仁, 古川 亮, 馬場 雅志, 宮崎 大輔, 日浦 慎作, 川崎 洋
    • Organizer
      第 21 回 画像の認識・理解シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] Grid-pattern feature detection technique using U-Nets for 3D endoscope2018

    • Author(s)
      Masahito Naito, Ryo Furukawa, Masashi Okitomo, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Yoji Sanomura, Shinji Tanaka, and Hiroshi Kawasaki
    • Organizer
      第 21 回 画像の認識・理解シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] Underwater accurate shape reconstruction using CNNs2018

    • Author(s)
      Kazuto Ichimaru, Ryo Furukawa, Hiroshi Kawasaki
    • Organizer
      第 21 回 画像の認識・理解シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Book] Active Lighting and Its Application for Computer Vision, 40 Years of History of Active Lighting Techniques2020

    • Author(s)
      Katsushi Ikeuchi, Yasuyuki Matsushita, Ryusuke Sagawa, Hiroshi Kawasaki, Yasuhiro Mukaigawa, Ryo Furukawa, Daisuke Miyazaki
    • Total Pages
      536
    • Publisher
      Springer
    • ISBN
      9783030565770
    • Related Report
      2020 Annual Research Report
  • [Remarks] 人体の内外表面形状すべてをリアルタイム計測するシステム

    • URL

      http://www.hyper3dsensing.com/

    • Related Report
      2019 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi