画像認識による新しい3次元動作追跡法を用いた3D内視鏡手術教育システムの開発

2016 Fiscal Year Research-status Report

• Project/Area Number: 15K01330
• Research Institution: Kobe University
• Principal Investigator: 金治 新悟 神戸大学, 医学部附属病院, 助教 (10637052)
• Co-Investigator(Kenkyū-buntansha): 角 泰雄 神戸大学, 医学研究科, 特命准教授 (00529521) ; 中村 哲 神戸大学, 医学部附属病院, 講師 (10403247) ; 掛地 吉弘 神戸大学, 医学研究科, 教授 (80284488) ; 大竹 義人 奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (80349563)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Keywords: コンピュータ外科学 / 3D内視鏡 / 腹腔鏡トレーニング / 画像認識による３次元動作の追跡法 / 反射用マーカーによる３次元動作追跡法

Outline of Annual Research Achievements

本研究は，3-Dimensional (以下，3D) 内視鏡において立体視の有用性を示し，器具先端の画像認識による3次元動作追跡法を開発することを目的とする。さらに画像認識を用いた手術操作の3次元軌跡データから教育システムを構築する。具体的には，3D内視鏡を用いて立体視が手術操作にもたらす有用性を，3Dモニターでの器具先端の操作軌跡距離が2D に比べて短いことで明らかする。3次元動作追跡法として画像認識を用いる新しい方法を開発し，この追跡精度が反射用マーカーを用いる従来の方法に対して劣らないことを検証する。さらに，手術器具先端を画像認識することで3次元動作追跡し，術者ごとの手術操作を3D軌跡データとしてデータベース化する。これにより，熟練者による模範モデルを確立し，3D 内視鏡手術の新しい教育システムを開発する。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

トレーニングボックスにおいて光学式トラッカー(Micron Tracker)を用いて鉗子の動作解析を行い、3D内視鏡の立体視が2Dの平面視に比べて、操作距離の短縮をもたらすことを明らかにした(Nishi M, Kanaji S et al, Surgery.2016)。さらに、新しい内視鏡手術の動作解析法としてRGB画像と3D内視鏡画像から人工知能を用いて術具形状を自動認識するアルゴリズムを開発した。これにより手術映像のみから術具の形を自動的に抽出し、3D内視鏡のステレオ映像より術具の3次元座標位置を取得し、術者の動作を3次元追跡することが可能となった。

Strategy for Future Research Activity

引き続き、多数の内視鏡動画において術具形状のannotation作業を行うことで機械学習を行い、現在開発した術具形状を自動認識するアルゴリズムを高い精度で確立する。術者ごとの手術操作をデータベース化し、本アルゴリズムを用いて技術レベルによる操作軌跡の違いを明らかにする。

Research Products

• [Journal Article] Comparison of two- and three-dimensional display for performance of laparoscopic total gastrectomy for gastric cancer. (2017)
  • Author(s): Kanaji S, Suzuki S, Harada H, Nishi M, Yamamoto M, Matsuda T, Oshikiri T, Nakamura T, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Langenbecks Arch Surg Volume: - Pages: -
  • DOI: 10.1007/s00423-017-1574-9
  • Peer Reviewed
• [Journal Article] Comparing the short-term outcomes of laparoscopic distal gastrectomy with D1+ and D2 lymph node dissection for gastric cancer. (2016)
  • Author(s): Goto H, Yasuda T, Oshikiri T, Kanaji S, Kawasaki K, Imanishi T, Oyama M, Kakinoki K, Ohara T, Sendo H, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Asian J Endosc Surg. Volume: 9 Pages: 116-21
  • DOI: 10.1111/ases.12269
  • Peer Reviewed
• [Journal Article] Can the intraoperative leak test prevent postoperative leakage of esophagojejunal anastomosis after total gastrectomy? (2016)
  • Author(s): Kanaji S, Ohyama M, Yasuda T, Sendo H, Suzuki S, Kawasaki K, Tanaka K, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Surg Today. Volume: 46 Pages: 815-20
  • DOI: 10.1007/s00595-015-1243-y
  • Peer Reviewed
• [Journal Article] Quantitative comparison of operative skill using 2- and 3-dimensional monitors during laparoscopic phantom tasks. (2016)
  • Author(s): Nishi M, Kanaji S, Otake Y, Harada H, Yamamoto M, Oshikiri T, Nakamura T, Suzuki S, Suzuki Y, Hiasa Y, Sato Y, Kakeji Y.
  • Journal Title: Surgery Volume: 161 Pages: 1334-40
  • DOI: 10.1016/j.surg.2016.08.060
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Totally laparoscopic total gastrectomy in a patient with situs inversus totalis (2016)
  • Author(s): Harada H, Kanaji S, Suzuki S, Yamamoto M, Yamashita K, Imanishi T, Sumi Y, Nakamura T, Tanaka K, Kakeji Y
  • Journal Title: International Surgery Volume: - Pages: -
  • Peer Reviewed
• [Presentation] THE EFFECT OF STEREOSCOPIC IMAGES FROM USING A THREE-DIMENSIONAL MONITOR TO LAPAROSCOPIC SURGICAL TRAINING FOR NOVICES  (2017)
  • Author(s): Harada H,Kanaji S, Suzuki S,Hasegawa H, Yamamoto M, Matsuda Y, Yamashita K,Matsuda T,Oshikiri T,Sumi Y,Nakamura T,Kakeji Y.
  • Organizer: SAGES 2017 Annual Meeting
  • Place of Presentation: ヒューストン
  • Year and Date: 2017-03-22 – 2017-03-26
  • Int'l Joint Research
• [Presentation] The laparoscopic lymphadenectomy along proximal splenic artery from patient's left side（患者左から攻略する腹腔鏡下脾動脈近位側郭清） (2017)
  • Author(s): 金治 新悟、鈴木 知志、山本 将士、長谷川 寛、松田 佳子、山下 公大、松田 武、押切 太郎、中村 哲、角 泰雄、掛地 吉弘
  • Organizer: 第89回日本胃癌学会総会
  • Place of Presentation: 広島
  • Year and Date: 2017-03-08 – 2017-03-10
• [Presentation] 胸腔鏡下食道切除術に対する3D内視鏡の有用性と治療成績 (2016)
  • Author(s): 中村 哲、原田 仁、西 将康、三浦 由紀子、後藤 裕信、長谷川 寛、松田 佳子、山本 将士、金治 新悟、山下 公大、松田 武、押切 太郎、角 泰雄、鈴木 知志、掛地 吉弘
  • Organizer: 第29回日本内視鏡外科学会総会
  • Place of Presentation: 横浜
  • Year and Date: 2016-12-08 – 2016-12-10
• [Presentation] 腹腔鏡下直腸癌手術における3D内視鏡の有用性 (2016)
  • Author(s): 角 泰雄、松田 武、山下 公大、長谷川 寛、山本 将士、松田 佳子、金治 新悟、押切 太郎、中村 哲、鈴木 知志、掛地 吉弘
  • Organizer: 第29回日本内視鏡外科学会総会
  • Place of Presentation: 横浜
  • Year and Date: 2016-12-08 – 2016-12-10
• [Presentation] 3D映像が内視鏡外科手術トレーニングに及ぼす影響の検討 (2016)
  • Author(s): 金治 新悟、原田 仁、西 将康、長谷川 寛、山本 将士、松田 佳子、山下 公大、松田 武、押切 太郎、中村 哲、角 泰雄、鈴木 知志、掛地 吉弘
  • Organizer: 第78回日本臨床外科学会総会
  • Place of Presentation: 東京
  • Year and Date: 2016-11-24 – 2016-11-26
• [Presentation] 鉗子軌跡解析による3D 映像の内視鏡手術における有用性の検討と今後の展開 (2016)
  • Author(s): 金治 新悟、西 将康、山下 公大、押切 太郎、角 泰雄、中村 哲、鈴木 知志、大竹 義人、佐藤 嘉伸、掛地 吉弘
  • Organizer: 第71回日本消化器外科学会総会
  • Place of Presentation: 徳島
  • Year and Date: 2016-07-14 – 2016-07-16
• [Presentation] 腹腔鏡下胃癌手術における層構造を意識した脾動脈近位側リンパ節郭清 (2016)
  • Author(s): 金治 新悟、鈴木 知志、山本 将士、山下 公大、押切 太郎、角 泰雄、中村 哲、掛地 吉弘
  • Organizer: 第41回日本外科系連合学会学術集会
  • Place of Presentation: 大阪
  • Year and Date: 2016-06-15 – 2016-06-17