実時間動力学シミュレーションと複合現実を用いた手術支援システム

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18H04102
• Research Institution: Hokkaido University
• Principal Investigator: 近野 敦 北海道大学, 情報科学研究院, 教授 (90250688)
• Co-Investigator(Kenkyū-buntansha): 佐瀬 一弥 東北学院大学, 工学部, 准教授 (20805220) ; 辻田 哲平 防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群), システム工学群, 准教授 (40554473) ; 安孫子 聡子 芝浦工業大学, 工学部, 教授 (40560660) ; 小水内 俊介 北海道大学, 情報科学研究院, 助教 (40708004) ; 陳 暁帥 弘前大学, 理工学研究科, 助教 (40812277) ; 七戸 俊明 北海道大学, 医学研究院, 准教授 (70374353)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 手術支援 / 手術シミュレーション / 技量評価 / 拡張現実

Outline of Annual Research Achievements

本研究は，腹腔鏡手術中のヒューマンエラーを未然に防ぎ，安全性を高めつつ手術を容易にする手術支援システムを開発することを目的とする．研究開発項目を大きく，1手術支援システムの開発，2アニマル実験での手術支援システムの評価，に分け，小課題として，1-1手術手技の定量的評価法の確立，1-2医用画像からの臓器モデル自動生成法の確立，1-3臓器変形・発生応力実時間推定，1-4臓器プロジェクションマッピング，2-1アニマル実験での手術手技の記録と解析，2-2臓器変形，発生応力実時間推定の実験・評価，2-3手術支援システムの評価・検証，を設けた．
2020年度は，1-4, 2-2, 2-3の小課題に取り組んだ．1-4ではカメラと人体に見立てた腹腔鏡下手術トレーニングボックスに赤外線反射マーカーを取り付け，カメラの位置・姿勢とトレーニングボックスの位置・姿勢をモーションキャプチャー装置で検出し，その相対関係から，トレーニングボックス内に配置した臓器に見立てたシリコンゴム直方体モデルの位置・姿勢を推定し，カメラの位置を動かしても精度良くシリコンゴム直方体モデルをトレーニングボックスに重畳表示する技術を開発した．この技術は，まるで身体の中が透けて見えるように内部情報を手術者に提示することに応用する．2-2では，肝臓，胆嚢，膵臓の有限要素モデルを作成し，腹腔鏡下手術トレーニングボックスでの手術器具の動きをモーションキャプチャー装置で検出し，その動きでコンピュータ内の肝臓，胆嚢，膵臓モデルに対して模擬手術を行う手術シミュレーターを開発した．2-3では，北海道大学医学部泌尿器科が定期的に実施しているカダバートレーニング（遺体を用いた手術手技研修）で，本研究で開発した赤外線反射マーカー付きの手術器具を使用してもらい，研修における手術器具の動作を記録し，精度良く動作を記録できていることを確認した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

実時間計算可能な臓器および血管モデルの提案で1件，柔軟物体変形と力学提示の成果で1件，手術技量の測定と評価で2件，カダバートレーニングおよび腹腔鏡手術手技に関して12件の学術雑誌論文が掲載された．特に手術技量の機械学習を用いた評価に関する論文はIFが3.149のSurgical Endoscopyという腹腔鏡手術分野専門の医学誌に掲載された．また，手術技量の評価に関して，フルペーパー査読付き国際会議RoManSy2020で発表を行い，発表者のKoki EbinaがBest Student AwardのFinalistに選定されるなど，期待した成果が得られている．

Strategy for Future Research Activity

最終年度となる2021年度は，これまで開発してきた手術支援システムの評価・検証を行う．評価・検証する項目は，(1) 臓器と手術器具の接触による変形予測の精度，(2) 臓器変形重畳表示の精度，(3) 手術手技定量的評価の精度，(4) 提示情報の妥当性，とする．
臓器と手術器具の接触による変形予測の精度検証については，単純な形状の柔軟物体で，動的有限要素モデルによる変形量と実験での変形量を比較し，定量的に評価する．また，特性パラメータに個体差を持つブタの臓器を用いて，変形予測と実際の変形量との誤差解析を行う．
臓器変形重畳表示精度の検証では，動的有限要素モデルを用いて実時間予測した結果を実際の映像に表示し，その表示誤差を定量的に評価する．
手術手技定量的評価制度の検証では，被験者が行う模擬手術の技量を熟練者が評価し，その評価と，模擬手術中の手術器具の動作からその技量をAIで自動判定した評価を比較する．
ブタの臓器等を使った模擬手術で，一連の支援システムを評価し，提示情報が適切かなど全体としての評価を行う．

Research Products

• [Journal Article] A Nonlinear and Failure Numerical Calculation Method for Vessel Preservation Simulations Based on Subarachnoid Space Structure Considerations (2020)
  • Author(s): Chen Xiaoshuai, Sase Kazuya, Tsujita Teppei, Konno Atsushi
  • Journal Title: IEEE Transactions on Medical Robotics and Bionics Volume: 2 Pages: 356-363
  • DOI: 10.1109/TMRB.2020.3009521
  • Peer Reviewed
• [Journal Article] Development and validation of a measurement system for laparoscopic surgical procedures (2020)
  • Author(s): Koki Ebina, Takashige Abe, Shunsuke Komizunai, Teppei Tsujita, Kazuya Sase, Xiaoshuai Chen, Madoka Higuchi, Jun Furumido, Naoya Iwahara, Yo Kurashima, Nobuo Shinohara and Atsushi Konno
  • Journal Title: SICE Journal of Control, Measurement, and System Integration Volume: 13 Pages: 191-200
  • DOI: 10.9746/jcmsi.13.191
  • Peer Reviewed
• [Journal Article] Motion analysis for better understanding of psychomotor skills in laparoscopy: objective assessment-based simulation training using animal organs (2020)
  • Author(s): Ebina Koki, Abe Takashige, Higuchi Madoka, Furumido Jun, Iwahara Naoya, Kon Masafumi, Hotta Kiyohiko, Komizunai Shunsuke, Kurashima Yo, Kikuchi Hiroshi, Matsumoto Ryuji, Osawa Takahiro, Murai Sachiyo, Tsujita Teppei, Sase Kazuya, Chen Xiaoshuai, Konno Atsushi, Shinohara Nobuo
  • Journal Title: Surgical Endoscopy Volume: - Pages: 18 pages
  • DOI: 10.1007/s00464-020-07940-7
  • Peer Reviewed / Open Access
• [Journal Article] 柔軟物体の力覚提示に対応したゲームエンジンプラグインNamako の開発 (2020)
  • Author(s): 佐瀬一弥, 陳暁帥, 辻田哲平, 近野敦
  • Journal Title: 日本バーチャルリアリティ学会論文誌 Volume: 25 Pages: 366-373
  • DOI: 10.18974/tvrsj.25.4_366
  • Peer Reviewed
• [Journal Article] A minimally invasive abdominal and left thoracic approach as a palliative treatment for adenocarcinoma of the esophagogastric junction with severe stenosis: A case report (2020)
  • Author(s): Takeuchi Yuta, Ebihara Yuma, Nakanishi Yoshitsugu, Asano Toshimichi, Noji Takehiro, Kurashima Yo, Murakami Soichi, Nakamura Toru, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Asian Journal of Endoscopic Surgery Volume: 13 Pages: 215-218
  • DOI: 10.1111/ases.12718
  • Peer Reviewed
• [Journal Article] Laparoscopic partial splenectomy for splenic lymphangioma: a case report (2020)
  • Author(s): Kimura Kotaro, Kurashima Yo, Tanaka Kimitaka, Nakanishi Yoshitsugu, Asano Toshimichi, Ebihara Yuma, Noji Takehiro, Murakami Soichi, Nakamura Toru, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Kanno-Okada Hiromi, Hirano Satoshi
  • Journal Title: Surgical Case Reports Volume: 6 Pages: 6 pages
  • DOI: 10.1186/s40792-020-00882-1
  • Peer Reviewed / Open Access
• [Journal Article] Predicting the Outcomes of Postoperative Pancreatic Fistula After Pancreatoduodenectomy Using Prophylactic Drain Contrast Imaging (2020)
  • Author(s): Kushiya Hiroki, Nakamura Toru, Asano Toshimichi, Okamura Keisuke, Tsuchikawa Takahiro, Murakami Soichi, Kurashima Yo, Ebihara Yuma, Noji Takehiro, Nakanishi Yoshitsugu, Tanaka Kimitaka, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Journal of Gastrointestinal Surgery Volume: - Pages: 6 pages
  • DOI: 10.1007/s11605-020-04646-y
  • Peer Reviewed
• [Journal Article] Two emergency cases of spontaneous esophageal perforation treated using a minimally invasive abdominal and left thoracic approach (2020)
  • Author(s): Sekiya Sho, Ebihara Yuma, Yamamura Yoshiyuki, Tanaka Kimitaka, Nakanishi Yoshitsugu, Asano Toshimichi, Noji Takehiro, Kurashima Yo, Murakami Soichi, Nakamura Toru, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Asian Journal of Endoscopic Surgery Volume: 13 Pages: 406-409
  • DOI: 10.1111/ases.12754
  • Peer Reviewed
• [Journal Article] Minimally invasive abdominal and left thoracic approach for Siewert type II adenocarcinoma of the oesophagogastric junction: Novel technique for simultaneous combined use of laparoscopy and thoracoscopy (2020)
  • Author(s): Ebihara Yuma, Kurashima Yo, Murakami Soichi, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Journal of Minimal Access Surgery Volume: 16 Pages: 285-285
  • DOI: 10.4103/jmas.JMAS_228_17
  • Peer Reviewed
• [Journal Article] Robot-assisted laparoscopic total gastrectomy for Epstein-Barr virus-associated multiple gastric cancer: A case report (2020)
  • Author(s): Kimura Kotaro, Ebihara Yuma, Tanaka Kimitaka, Nakanishi Yoshitsugu, Asano Toshimichi, Noji Takehiro, Kurashima Yo, Murakami Soichi, Nakamura Toru, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Kanno-Okada Hiromi, Hirano Satoshi
  • Journal Title: International Journal of Surgery Case Reports Volume: 75 Pages: 446-450
  • DOI: 10.1016/j.ijscr.2020.09.147
  • Peer Reviewed
• [Journal Article] Laparoscopic-assisted distal gastrectomy and central pancreatectomy for gastric and perigastric lymph node metastases and pancreatic invasion from melanoma: a case report (2020)
  • Author(s): Okawa Yuki, Ebihara Yuma, Tanaka Kimitaka, Nakanishi Yoshitsugu, Asano Toshimichi, Noji Takehiro, Kurashima Yo, Murakami Soichi, Nakamura Toru, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Surgical Case Reports Volume: 6 Pages: 6 pages
  • DOI: 10.1186/s40792-020-01027-0
  • Peer Reviewed / Open Access
• [Journal Article] Time to Recurrence After Surgical Resection and Survival After Recurrence Among Patients with Perihilar and Distal Cholangiocarcinomas (2020)
  • Author(s): Nakanishi Yoshitsugu, Okamura Keisuke, Tsuchikawa Takahiro, Nakamura Toru, Noji Takehiro, Asano Toshimichi, Matsui Aya, Tanaka Kimitaka, Murakami Soichi, Ebihara Yuma, Kurashima Yo, Narasaki Hajime, Amano Toraji, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Annals of Surgical Oncology Volume: 27 Pages: 4171-4180
  • DOI: 10.1245/s10434-020-08534-2
  • Peer Reviewed
• [Journal Article] Pancreatic body and tail cancer and favorable metastatic lymph node behavior on the left edge of the aorta (2020)
  • Author(s): Tanaka Kimitaka, Nakamura Toru, Asano Toshimichi, Nakanishi Yoshitsugu, Noji Takehiro, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Pancreatology Volume: 20 Pages: 1451-1457
  • DOI: 10.1016/j.pan.2020.08.014
  • Peer Reviewed
• [Journal Article] Immunological Gene Signature Associated With the Tumor Microenvironment of Pancreatic Cancer After Neoadjuvant Chemotherapy (2020)
  • Author(s): Hane Yuma, Tsuchikawa Takahiro, Nakamura Toru, Hatanaka Kanako C., Saito Tatsuro, Tanaka Kimitaka, Nakanishi Yoshitsugu, Asano Toshimichi, Noji Takehiro, Okamura Keisuke, Shichinohe Toshiaki, Yokota Isao, Hatanaka Yutaka, Hirano Satoshi
  • Journal Title: Pancreas Volume: 49 Pages: 1240-1245
  • DOI: 10.1097/MPA.0000000000001665
  • Peer Reviewed
• [Journal Article] Outcomes of limited resection for patients with intraductal papillary mucinous neoplasm of the pancreas: A single-center experience (2020)
  • Author(s): Asano Toshimichi, Nakamura Toru, Noji Takehiro, Okamura Keisuke, Tsuchikawa Takahiro, Ebihara Yuma, Nakanishi Yoshitsugu, Tanaka Kimitaka, Matsui Aya, Shichinohe Toshiaki, Hirano Satoshi
  • Journal Title: Pancreatology Volume: 20 Pages: 1399-1405
  • DOI: 10.1016/j.pan.2020.09.008
  • Peer Reviewed
• [Journal Article] The effect of the body mass index on the short-term surgical outcomes of laparoscopic total gastrectomy: A propensity score-matched study (2020)
  • Author(s): Ebihara Yuma, Miyasaka Mamoru, Tanaka Kimitaka, Nakanishi Yoshitsugu, Asano Toshimichi, Noji Takehiro, Kurashima Yo, Nakamura Toru, Murakami Soichi, Tsuchikawa Takahiro, Okamura Keisuke, Shichinohe Toshiaki, Murakami Yoshihiro, Murakawa Katsuhiko, Nakamura Fumitaka, Morita Takayuki, Okushiba Shunichi, Hirano Satoshi
  • Journal Title: Journal of Minimal Access Surgery Volume: 16 Pages: 376-380
  • DOI: 10.4103/jmas.JMAS_212_19
  • Peer Reviewed
• [Journal Article] わが国におけるCSTの現状と展望 (2020)
  • Author(s): 七戸俊明
  • Journal Title: 関節外科 Volume: 39 Pages: 828-832
• [Presentation] Surgical Skill Analysis Based on the Way of Grasping Organs with Forceps in Dissection Procedure of Laparoscopic Surgery (2020)
  • Author(s): Koki Ebina, Takashige Abe, Shunsuke Komizunai, Teppei Tsujita, Kazuya Sase, Xiaoshuai Chen, Madoka Higuchi, Jun Furumido, Naoya Iwahara, Yo Kurashima, Nobuo Shinohara, and Atsushi Konno
  • Organizer: CISM IFToMM Symposium on Robot Design, Dynamics and Control (RoManSy2020)
  • Int'l Joint Research
• [Presentation] 手術ナビゲーションのための弾性体リアルタイム接触変形シミュレーションシステムの開発 (2020)
  • Author(s): 澁谷紗也華, 佐瀬一弥, 陳暁帥, 小水内俊介, 辻田哲平, 近野敦
  • Organizer: 日本バーチャルリアリティ学会ハプティクス研究委員会
• [Presentation] 鼻腔内視鏡手術手技計測システムの開発 (2020)
  • Author(s): 宮路洸, 鈴木正宣, 中丸裕爾, 佐瀬一弥, 陳暁帥, 辻田哲平, 小水内俊介, 本間明宏, 近野敦
  • Organizer: 計測自動制御学会北海道支部学術講演会
• [Presentation] 腹腔鏡手術剥離操作における鉗子把持力・把持位置の技量分析 (2020)
  • Author(s): 海老名光希, 安部崇重, 小水内俊介, 辻田哲平, 佐瀬一弥, 陳暁帥, 樋口まどか, 古御堂純, 岩原直也, 倉島庸, 篠原信雄, 近野敦
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会
• [Presentation] 「臨床医学の献体利用を推進する専門人材養成プログラム」の実施計画 (2020)
  • Author(s): 七戸俊明，平野 聡，渡辺雅彦
  • Organizer: 日本解剖学会総会・全国学術集会 シンポジウム
• [Presentation] CSTの実践と今後の課題 (2020)
  • Author(s): 七戸俊明，村上壮一，倉島 庸，海老原裕磨，楢崎 肇，松井あや，田中公貴，中西喜嗣，浅野賢道，野路武寛，中村 透，土川貴裕，岡村圭祐，平野 聡
  • Organizer: 日本小切開・鏡視外科学会 シンポジウム
• [Presentation] 献体を使用した臨床医学研究において，新たに医療機器開発を行う場合の留意点 (2020)
  • Author(s): 七戸俊明，伊達洋至，平野 聡，小林英司，伊澤祥光，白川靖博，平松昌子
  • Organizer: 日本外科学会定期学術集会
  • Invited
• [Presentation] 食道癌手術におけるカダバートレーニングの実際と将来展望 (2020)
  • Author(s): 七戸俊明，海老原裕磨，倉島 庸，村上壮一，楢崎 肇，松井あや，田中公貴，中西喜嗣，浅野賢道，野路武寛，中村 透，土川貴裕，岡村圭祐，平野 聡
  • Organizer: 日本胸部外科学会定期学術集会
  • Invited
• [Presentation] 外科手術におけるカダバートレーニングの実際と将来展望 (2020)
  • Author(s): 七戸俊明，海老原裕磨，倉島 庸，村上壮一，楢崎 肇，松井あや，田中公貴，中西喜嗣，浅野賢道，野路武寛，中村 透，土川貴裕，岡村圭祐，平野 聡
  • Organizer: 日本臨床外科学会総会
  • Invited
• [Presentation] Development of a Surgical Instrument with a Single Strain Area for Measuring Biaxial Cutting Forces (2020)
  • Author(s): Masaya Suzuki, Satoko Abiko, Teppei Tsujita, Koyu Abe
  • Organizer: IEEE/ASME International Conference on Advanced Intelligent Mechatronics
  • Int'l Joint Research
• [Presentation] 単一起歪部で2軸の力計測可能なセンサ一体型術具の開発 (2020)
  • Author(s): 鈴木雅也，安孫子聡子，辻田哲平，阿部幸勇
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会
• [Presentation] 手術シミュレータ用力覚提示装置開発のためのMR流体切断流れモードの顕微鏡観察 (2020)
  • Author(s): 吉冨竜徳，辻田哲平，河井暖，安孫子聡子
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会