New image recognition from 3D laparoscopic image by artificial intelligence

• Project/Area Number: 15K01330
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Medical systems
• Research Institution: Kobe University
• Principal Investigator: Kanaji Shingo 神戸大学, 医学部附属病院, 助教 (10637052)
• Co-Investigator(Kenkyū-buntansha): 角 泰雄 神戸大学, 医学研究科, 特命教授 (00529521) ; 中村 哲 神戸大学, 医学部附属病院, 講師 (10403247) ; 掛地 吉弘 神戸大学, 医学研究科, 教授 (80284488) ; 大竹 義人 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80349563)
• Co-Investigator(Renkei-kenkyūsha): SATOU Yoshinobu 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (70243219)
• Research Collaborator: Asutin Reiter Johns Hopkins University, Department of Computer Science, Assistant Research Professor ; NISHI Masayasu 神戸大学, 医学研究科, 医員
• Project Period (FY): 2015-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2017: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2016: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2015: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
• Keywords: コンピュータ外科学 / 3D内視鏡 / 腹腔鏡トレーニング / 画像認識による３次元動作追跡法 / 反射用マーカーによる３次元動作追跡法 / 画像認識による３次元動作の追跡法

Outline of Final Research Achievements

We have reported that 3D can shorten the movement of laparoscopic forceps compared with 2D in training box (Nishi M, Kanaji S et al, Surgery.2016). Further, we have developed the new method of the laparoscopic image recognition from RGB image and depth image with 3D by artificial intelligence. Our method can detect the location of forceps tip automatically only from operative image and track the motion of surgeon.

Research Products

• [Journal Article] The learning effect of using stereoscopic vision in the early phase of laparoscopic surgical training for novices (2018)
  • Author(s): Harada H, Kanaji S, Nishi M, Otake Y, Hasegawa H, Yamamoto M, Matsuda Y, Yamashita K, Matsuda T, Oshikiri T, Sumi Y
  • Journal Title: Surgical endoscopy. Volume: 32(2) Issue: 2 Pages: 582-588
  • DOI: 10.1007/s00464-017-5654-2
  • Peer Reviewed / Open Access
• [Journal Article] Quantitative comparison of operative skill using 2-and 3-dimensional monitors during laparoscopic phantom tasks. (2017)
  • Author(s): Nishi M, Kanaji S, Otake Y, Harada H, Yamamoto M, Oshikiri T, Nakamura T, Suzuki S, Suzuki Y, Hiasa Y, Sato Y
  • Journal Title: Surgery Volume: 31 Issue: 5 Pages: 1334-1340
  • DOI: 10.1016/j.surg.2016.08.060
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Comparison of two- and three-dimensional display for performance of laparoscopic total gastrectomy for gastric cancer. (2017)
  • Author(s): Kanaji S, Suzuki S, Harada H, Nishi M, Yamamoto M, Matsuda T, Oshikiri T, Nakamura T, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Langenbecks Arch Surg Volume: - Issue: 3 Pages: 493-500
  • DOI: 10.1007/s00423-017-1574-9
  • Peer Reviewed / Open Access
• [Journal Article] Comparing the short-term outcomes of laparoscopic distal gastrectomy with D1+ and D2 lymph node dissection for gastric cancer. (2016)
  • Author(s): Goto H, Yasuda T, Oshikiri T, Kanaji S, Kawasaki K, Imanishi T, Oyama M, Kakinoki K, Ohara T, Sendo H, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Asian J Endosc Surg. Volume: 9 Issue: 2 Pages: 116-21
  • DOI: 10.1111/ases.12269
  • Peer Reviewed
• [Journal Article] Can the intraoperative leak test prevent postoperative leakage of esophagojejunal anastomosis after total gastrectomy? (2016)
  • Author(s): Kanaji S, Ohyama M, Yasuda T, Sendo H, Suzuki S, Kawasaki K, Tanaka K, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Surg Today. Volume: 46 Issue: 7 Pages: 815-20
  • DOI: 10.1007/s00595-015-1243-y
  • Peer Reviewed
• [Journal Article] Totally laparoscopic total gastrectomy in a patient with situs inversus totalis (2016)
  • Author(s): Harada H, Kanaji S, Suzuki S, Yamamoto M, Yamashita K, Imanishi T, Sumi Y, Nakamura T, Tanaka K, Kakeji Y
  • Journal Title: International Surgery Volume: -
  • Peer Reviewed
• [Journal Article] Can the intraoperative leak test prevent postoperative leakage of esophagojejunal anastomosis after total gastrectomy? (2015)
  • Author(s): Kanaji S, Ohyama M, Yasuda T, Sendo H, Suzuki S, Kawasaki K, Tanaka K, Fujino Y, Tominaga M, Kakeji Y.
  • Journal Title: Surg Today. Volume: -
  • Peer Reviewed / Acknowledgement Compliant
• [Presentation] THE EFFECT OF STEREOSCOPIC IMAGES FROM USING A THREE-DIMENSIONAL MONITOR TO LAPAROSCOPIC SURGICAL TRAINING FOR NOVICES  (2017)
  • Author(s): Harada H,Kanaji S, Suzuki S,Hasegawa H, Yamamoto M, Matsuda Y, Yamashita K,Matsuda T,Oshikiri T,Sumi Y,Nakamura T,Kakeji Y.
  • Organizer: SAGES 2017 Annual Meeting
  • Place of Presentation: ヒューストン
  • Year and Date: 2017-03-22
  • Int'l Joint Research
• [Presentation] The laparoscopic lymphadenectomy along proximal splenic artery from patient's left side（患者左から攻略する腹腔鏡下脾動脈近位側郭清） (2017)
  • Author(s): 金治 新悟、鈴木 知志、山本 将士、長谷川 寛、松田 佳子、山下 公大、松田 武、押切 太郎、中村 哲、角 泰雄、掛地 吉弘
  • Organizer: 第89回日本胃癌学会総会
  • Place of Presentation: 広島
  • Year and Date: 2017-03-08
• [Presentation] 動作解析システムを用いた3D腹腔鏡下での手術手技の検討 (2017)
  • Author(s): 西 将康、金治 新悟、原田 仁、山本 将士、松田 佳子、山下 公大、押切 太郎、松田 武、角 泰雄、中村 哲、鈴木 知志、掛地 吉弘
  • Organizer: 第117回日本外科学会定期学術集会
• [Presentation] 3Dモニターが初心者の内視鏡外科修練にもたらす影響 (2017)
  • Author(s): 原田 仁、金治 新悟、西 将康、長谷川 寛、山本 将士、松田 佳子、山下 公大、松田 武、押切 太郎、中村 哲、角 泰雄、鈴木 知志、掛地 吉弘
  • Organizer: 第117回日本外科学会定期学術集会
• [Presentation] 鉗子操作の3次元軌跡解析を用いた内視鏡外科手術の適正評価法の開発と技術評価が学習効果に及ぼす影響に関する研究 (2017)
  • Author(s): 金治 新悟、原田 仁、西 将康、山本 将士、松田 佳子、山下 公大、押切 太郎、松田 武、中村 哲、角 泰雄、鈴木 知志、掛地 吉弘
  • Organizer: 第71回手術手技研究会
• [Presentation] Comparison of operative skill using two -and three-dimensional monitor during laparoscopic phantom tasks by the position tracker (2017)
  • Author(s): Nishi M,Kanaji S,Harada H,Hasegawa H,Yamamoto M,Matsuda Y,Yamashita K,Matsuda T,Oshikiri T,Sumi Y,Nakamura T,Suzuki S,Kakeji Y
  • Organizer: 第25回欧州内視鏡外科会議（EAES）
  • Int'l Joint Research
• [Presentation] 胸腔鏡下食道切除術に対する3D内視鏡の有用性と治療成績 (2016)
  • Author(s): 中村 哲、原田 仁、西 将康、三浦 由紀子、後藤 裕信、長谷川 寛、松田 佳子、山本 将士、金治 新悟、山下 公大、松田 武、押切 太郎、角 泰雄、鈴木 知志、掛地 吉弘
  • Organizer: 第29回日本内視鏡外科学会総会
  • Place of Presentation: 横浜
  • Year and Date: 2016-12-08
• [Presentation] 腹腔鏡下直腸癌手術における3D内視鏡の有用性 (2016)
  • Author(s): 角 泰雄、松田 武、山下 公大、長谷川 寛、山本 将士、松田 佳子、金治 新悟、押切 太郎、中村 哲、鈴木 知志、掛地 吉弘
  • Organizer: 第29回日本内視鏡外科学会総会
  • Place of Presentation: 横浜
  • Year and Date: 2016-12-08
• [Presentation] 3D映像が内視鏡外科手術トレーニングに及ぼす影響の検討 (2016)
  • Author(s): 金治 新悟、原田 仁、西 将康、長谷川 寛、山本 将士、松田 佳子、山下 公大、松田 武、押切 太郎、中村 哲、角 泰雄、鈴木 知志、掛地 吉弘
  • Organizer: 第78回日本臨床外科学会総会
  • Place of Presentation: 東京
  • Year and Date: 2016-11-24
• [Presentation] 鉗子軌跡解析による3D 映像の内視鏡手術における有用性の検討と今後の展開 (2016)
  • Author(s): 金治 新悟、西 将康、山下 公大、押切 太郎、角 泰雄、中村 哲、鈴木 知志、大竹 義人、佐藤 嘉伸、掛地 吉弘
  • Organizer: 第71回日本消化器外科学会総会
  • Place of Presentation: 徳島
  • Year and Date: 2016-07-14
• [Presentation] 腹腔鏡下胃癌手術における層構造を意識した脾動脈近位側リンパ節郭清 (2016)
  • Author(s): 金治 新悟、鈴木 知志、山本 将士、山下 公大、押切 太郎、角 泰雄、中村 哲、掛地 吉弘
  • Organizer: 第41回日本外科系連合学会学術集会
  • Place of Presentation: 大阪
  • Year and Date: 2016-06-15
• [Presentation] Segmentation of Surgical Instruments from RGB-D Endoscopic Images using Convolutional Neural Networks: Preliminary Experiments towards Quantitative Skill Assessment. (2016)
  • Author(s): Hiasa, Y., Suzuki, Y., Reiter, A., Otake, Y., Nishi, M., Harada, H., Koyama, K., Kanaji, S., Kakeji, Y., Sato, Y.
  • Organizer: 生体医用画像研究会第 3 回若手発表会
  • Place of Presentation: 大阪
  • Year and Date: 2016-03-12
• [Presentation] 要望演題（ビデオ）2-2 研修医・専門医によるリンパ節郭清術ビデオ2 (2015)
  • Author(s): 金治 新悟
  • Organizer: 第28回日本内視鏡外科学会総会
  • Place of Presentation: 大阪
  • Year and Date: 2015-12-10
  • Invited
• [Presentation] 新しい3次元動作解析システムを用いた内視鏡手術の技術分析 - 3Dと2Dモニターにおける鉗子操作の比較検討 - (2015)
  • Author(s): 西 将康、金治 新悟、原田 仁、音羽 泰則、瀧口 豪介、山本 将士、金光 聖哲、山下 公大、押切 太郎、角 泰雄、中村 哲、鈴木 知志、掛地 吉弘
  • Organizer: 第28回日本内視鏡外科学会総会
  • Place of Presentation: 大阪
  • Year and Date: 2015-12-10
• [Presentation] 3D内視鏡を用いた腹腔鏡下胃全摘術の有用性 (2015)
  • Author(s): 金治 新悟、鈴木 知志、山本 将士、安田 貴志、中村 哲、藤野 泰宏、富永 正寛、掛地 吉弘
  • Organizer: 第45回胃外科・術後障害研究会
  • Place of Presentation: 名古屋
  • Year and Date: 2015-11-06
  • Invited
• [Presentation] 3D映像が内視鏡外科手術にもたらす効果の検討 (2015)
  • Author(s): 西 将康、金治 新悟、原田 仁、山本 将士、金光 聖哲、山下 公大、角 泰雄、中村 哲、鈴木 知志、掛地 吉弘
  • Organizer: 第24回日本癌病態治療研究会
  • Place of Presentation: 栃木
  • Year and Date: 2015-06-25