• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

Anatomical structure-driven endoscopic surgery assistance – toward contents-based surgical navigation

Research Project

Project/Area Number 17H00867
Research InstitutionNagoya University

Principal Investigator

森 健策  名古屋大学, 情報学研究科, 教授 (10293664)

Co-Investigator(Kenkyū-buntansha) 北坂 孝幸  愛知工業大学, 情報科学部, 准教授 (00362294)
小田 昌宏  名古屋大学, 情報学研究科, 助教 (30554810)
三澤 一成  愛知県がんセンター(研究所), 分子腫瘍学分野, 研究員 (70538438)
Project Period (FY) 2017-04-01 – 2021-03-31
Keywordsコンピュータ外科 / 画像処理 / 知能ロボティクス / 医用画像
Outline of Annual Research Achievements

解剖学的構造空間での対応付けに基づく内視鏡手術ナビゲーション、すなわち、解剖構造ドリブン型内視鏡手術支援手法の開発とその診断治療への応用を目指し、平成30年度は「解剖構造ドリブン型内視鏡手術支援のための画像認識理解手法の開発」に関する以下の研究項目を実施した。
(1) CT画像上における微細解剖認識手法の実現:腹部CT像上での微細解剖構造認識技術を開発した。腹部血管、リンパ節の自動識別に関する手法を開発した。深層学習による解剖構造高精度自動認識を行った。また、解剖構造情報を利用したリンパ節の経時変化解析を行う方法も検討した。
(2) 内視鏡映像からの腹腔内構造3次元復元:ステレオ内視鏡映像を用いて、腹腔内の3次元構造を推定する方法の開発を進めた。腹腔内の映像において特徴点の高精度な検出方法を開発し、画像間の3次元構造復元に利用した。内視鏡映像からの解剖構造理解の基礎となる3次元構造推定結果が得られた。
(3) 内視鏡映像における解剖構造自動認識手法の実現:内視鏡映像からの解剖構造自動認識の基礎手法を開発した。深層学習を用いて内視鏡映像に含まれる血管を自動認識可能とした。
(4) 解剖学的名称自動付与手法の開発:CT像から識別される血管と内視鏡映像から識別される血管に対して解剖学的名称を付与する方法を検討した。本年度はCT画像から抽出される血管の名称の絶対的関係、相対的関係を機械学習により取得し、自動付与を可能とした。特に深層学習によって得られた臓器情報を基に自動命名精度の向上を試みた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

「解剖構造ドリブン型内視鏡手術支援のための画像認識理解手法の開発」に関する各研究項目は予定通り進展している。CT像における微細解剖認識手法の実現及び、内視鏡映像における解剖構造自動認識手法の実現では、大型の臓器から血管等の微細な臓器までを対象として、多症例からなる解剖学的構造データベースに基づく自動識別手法を深層学習により確立した。また、内視鏡映像からは画像間の特徴点位置対応関係に基づく3次元構造復元を可能とした。ここでは従来から存在する構造復元手法に対して、映像上での臓器の見えを考慮したルールを新たに導入し、高精度な構造復元を行った。
多様な画像モダリティからの解剖構造認識理解手法が実現されており、今年度だけでなく今後の研究推進にも結び付く結果が得られた。

Strategy for Future Research Activity

解剖構造対応付けに基づく内視鏡手術支援手法の実現を行う。解剖学的構造認識結果に基づき、内視鏡手術プランニング自動生成、仮想画像と実画像の解剖構造対応付け手法の実現、内視鏡手術ナビゲーション手法の開発、解剖学的サーボイングの実現を行う。これらにより、解剖構造識別に基づく内視鏡操作の自動化を目指した研究開発を行う。

  • Research Products

    (33 results)

All 2019 2018 Other

All Int'l Joint Research (2 results) Journal Article (4 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 4 results,  Open Access: 1 results) Presentation (27 results) (of which Int'l Joint Research: 15 results,  Invited: 8 results)

  • [Int'l Joint Research] Imperial College London/King's College London/University College London(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      Imperial College London/King's College London/University College London
    • # of Other Institutions
      1
  • [Int'l Joint Research] Technical University of Munchen(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      Technical University of Munchen
  • [Journal Article] 大腸内視鏡治療誘導のためのRecurrent Neural Networkを用いた大腸内視鏡トラッキング手法の開発2018

    • Author(s)
      小田昌宏, Holger R. Roth, 北坂孝幸, 古川和宏, 宮原良二, 廣岡芳樹, Nassir Navab, 森健策
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: 23 Pages: 249-252

    • DOI

      10.18974/tvrsj.23.4_249

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Advanced Endoscopic Navigation: Surgical Big Data, Methodology, and Applications2018

    • Author(s)
      Xiongbao Luo, Kensaku Mori, Terry Peters
    • Journal Title

      Annual review of biomedical engineering

      Volume: 20 Pages: 221-251

    • DOI

      10.1146/annurev-bioeng-062117-120917

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Application of three-dimensional print in minor hepatectomy following liver partition between anterior and posterior sectors2018

    • Author(s)
      Tsuyoshi Igami, Yoshihiko Nakamura, Masahiro Oda, Hiroshi Tanaka, Motoi Nojiri, Tomoki Ebata, Yukihiro Yokoyama, Gen Sugawara, Takashi Mizuno, Junpei Yamaguchi, Kensaku Mori, Masato Nagino
    • Journal Title

      ANZ Journal of Surgery

      Volume: 88 Pages: 882-885

    • DOI

      10.1111/ans.14331

    • Peer Reviewed
  • [Journal Article] DRINet for Medical Image Segmentation2018

    • Author(s)
      Liang Chen, Paul Bentley, Kensaku Mori, Kazunari Misawa, Michitaka Fujiwara, Daniel Rueckert
    • Journal Title

      IEEE Transaction on Medical Imaging

      Volume: 37 Pages: 2453-2462

    • DOI

      10.1109/TMI.2018.2835303

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] Weakly-supervised deep learning of interstitial lung disease types on CT images2019

    • Author(s)
      Chenglong Wang, Takayasu Moriya, Yuichiro Hayashi, Holger Roth, Le Lu, Masahiro Oda, Hirotugu Ohkubo, Kennsaku Mori
    • Organizer
      SPIE
    • Int'l Joint Research
  • [Presentation] Multi-class abdominal organs segmentation with improved V-Nets2019

    • Author(s)
      Chen Shen, Fausto Milletari, Holger R. Roth, Hirohisa Oda, Masahiro Oda, Yuichiro Hayashi, Kazunari Misawa, Kensaku Mori
    • Organizer
      SPIE
    • Int'l Joint Research
  • [Presentation] Colonoscope tracking method based on shape estimation network2019

    • Author(s)
      Masahiro Oda, Holger R. Roth, Takayuki Kitasaka, Kazuhiro Furukawa, Yoshiki Hirooka, Nassir Navab, Kensaku Mori
    • Organizer
      SPIE
    • Int'l Joint Research
  • [Presentation] Visual SLAM for bronchoscope tracking and bronchus reconstruction in bronchoscopic navigation2019

    • Author(s)
      Wang Cheng, Kensaku Mori, Masahiro Oda, Yuichiro Hayashi, Takayuki Kitasaka, Hirotoshi Honma, Hirotsugu Takabatake, Masaki Mori, Hiroshi Natori
    • Organizer
      SPIE
    • Int'l Joint Research
  • [Presentation] Automated hand eye calibration in laparoscope holding robot for robot assisted surgery2019

    • Author(s)
      Shuai Jiang, Yuichiro Hayashi, Masahiro Oda, Takayuki Kitasaka, Kazunari Misawa, Kensaku Mori
    • Organizer
      IFMIA
    • Int'l Joint Research
  • [Presentation] 経時CT像間の腹部臓器の変形を考慮したリンパ節自動対応付け手法の検討2019

    • Author(s)
      舘 高基, 小田 昌宏, 林 雄一郎, 伊東 隼人, 中村 嘉彦, 北坂 孝幸, 三澤 一成, 森 健策
    • Organizer
      電子情報通信学会技術研究報告(MI)
  • [Presentation] Computer Assistance in Comparison of Kidney Function Variation Between Pre- and Post-nephrectomy2018

    • Author(s)
      Chenglong Wang, Masahiro Oda, Jun Nagayama, Yasushi Yoshino, Tokunori Yamamoto, Kensaku Mori
    • Organizer
      RSNA
  • [Presentation] Colon Shape Estimation Method for Colonoscope Tracking using Recurrent Neural Networks2018

    • Author(s)
      Masahiro Oda, Holger Roth, Takayuki Kitasaka, Kazuhiro Furukawa, Ryoji Miyahara, Yoshiki Hirooka, Hidemi Goto, Nassir Navab, Kensaku Mori
    • Organizer
      MICCAI
    • Int'l Joint Research
  • [Presentation] Deformation matching of laparoscopic gastrectomy Navigation based on finite element analysis2018

    • Author(s)
      Tao Chen, Guodong Wei, Weili Shi, Y. Hu, J. Yu, Zhengang Jiang, Kensaku Mori
    • Organizer
      CARS
    • Int'l Joint Research
  • [Presentation] Semi-supervised spherical K-means for segmenting idiopathic interstitial pneumonia from chest CT images2018

    • Author(s)
      Chenglong Wang, Takayasu Moriya, Yuichiro Hayashi, Masahiro Oda, Hirotsugu Ohkubo, Kensaku Mori
    • Organizer
      CARS
    • Int'l Joint Research
  • [Presentation] Evaluation of 3D fully convolutional networks for multi-class organ segmentation in contrast-enhanced CT2018

    • Author(s)
      Chen Shen, Holger R. Roth, Hirohisa Oda, Masahiro Oda, Yuichiro Hayashi, Kazunari Misawa, Tadaaki Miyamoto, and Kensaku Mori
    • Organizer
      CARS
    • Int'l Joint Research
  • [Presentation] Auto-context 3D fully convolutional networks for multi-scale semantic segmentation of abdominal CT volumes2018

    • Author(s)
      Kensaku Mori, Holger Roth, Chen Shen, Hirohisa Oda, Takaaki Sugino, Masahiro Oda, Yuichiro Hayashi, Kazunari Misawa
    • Organizer
      CARS
    • Int'l Joint Research
  • [Presentation] Improvement of robustness of SLAM-based bronchoscope tracking by posture guided feature matching2018

    • Author(s)
      Cheng Wang, Masahiro Oda, Yuichiro Hayashi, Hirotoshi Honma, Hirotsugu Takabatake, Masaki Mori, Hiroshi Natori, Kensaku Mori
    • Organizer
      CARS
    • Int'l Joint Research
  • [Presentation] ディープラーニングを用いた腹腔鏡映像からの腹腔鏡下胃切除術の手術工程解析の検討2018

    • Author(s)
      林 雄一郎, 杉野 貴明, 小田 昌宏, 三澤 一成, 森 健策
    • Organizer
      第27回日本コンピュータ外科学会大会
  • [Presentation] 腹腔鏡把持ロボットのための自動ハンドアイキャリブレーションの検討2018

    • Author(s)
      蒋 帥, 林 雄一郎, 小田 昌宏, 北坂 孝幸, 三澤 一成, 森 健策
    • Organizer
      第27回日本コンピュータ外科学会大会
  • [Presentation] SLAM ベースのビジュアルトラッキングにおける隣接フレーム利用再構成手法の評価2018

    • Author(s)
      王 成, 小田 昌宏, 林 雄一郎, 北坂 孝幸, 本間 裕敏, 高畠 博嗣, 森 雅樹, 名取 博, 森 健策
    • Organizer
      第27回日本コンピュータ外科学会大会
  • [Presentation] CT 像より自動抽出された動脈領域に対応した機械学習に基づく腹部動脈血管名自動命名法2018

    • Author(s)
      鉄村 悠介, 林 雄一郎, 小田 昌宏, 北坂 孝幸, 三澤 一成, 森 健策
    • Organizer
      第27回日本コンピュータ外科学会大会
  • [Presentation] 機械学習を用いた腹部動脈血管名自動命名における臓器情報および多血管相互関係利用方法の検討2018

    • Author(s)
      鉄村 悠介, Holger Roth, 林 雄一郎, 小田 昌宏, 三澤 一成, 森 健策
    • Organizer
      第37回日本医用画像工学会大会 (JAMIT2018)
  • [Presentation] 隣接復元を用いたSLAMベースの気管支鏡追跡の改善2018

    • Author(s)
      王 成, 小田 昌宏, 林 雄一郎, 本間 裕敏, 高畑 博嗣, 森 雅樹, 名取 博, 森 健策
    • Organizer
      第37回日本医用画像工学会大会(JAMIT2018)
  • [Presentation] Machine Learning for Intelligent Medical Devices2018

    • Author(s)
      Kensaku Mori
    • Organizer
      The 29th 2018 International Symposium on Micro-Nano Mechatonics and Human Science
    • Int'l Joint Research / Invited
  • [Presentation] 人工知能による医用画像処理2018

    • Author(s)
      森 健策
    • Organizer
      第68回日本泌尿器科学会中部総会
    • Invited
  • [Presentation] 人工知能による医用画像解析とその診断治療支援への応用2018

    • Author(s)
      森 健策
    • Organizer
      第56回東部防衛衛生学会
    • Invited
  • [Presentation] Computer assisted diagnosis and surgery based on machine learning2018

    • Author(s)
      Kensaku Mori
    • Organizer
      APGCC2018 & CLASSIC 2018
    • Int'l Joint Research / Invited
  • [Presentation] AIによる画像処理技術の新展開2018

    • Author(s)
      森 健策
    • Organizer
      JCRミッドサマーセミナー2018
    • Invited
  • [Presentation] Deep learning at the interface of CAD/CAS2018

    • Author(s)
      Kensaku Mori
    • Organizer
      CAD-AI / ISCAS Joint Session on Deep Learning in CAD/CAS
    • Int'l Joint Research / Invited
  • [Presentation] Computer-assisted diagnosis and surgery based on machine learning2018

    • Author(s)
      Kensaku Mori
    • Organizer
      Annual academic conference of digital surgery committee of Chinese research hospital association & 2nd international conference on digital medicine
    • Int'l Joint Research / Invited
  • [Presentation] 画像診断におけるAIの現状と今後 -将来の画像診断はどう変わるか?2018

    • Author(s)
      森 健策
    • Organizer
      第20回放射線研究セミナー
    • Invited

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi