GPUの深度画像並列処理機能による肝臓手術ナビゲーションシステムの製作とその評価

2016 Fiscal Year Annual Research Report

• Project/Area Number: 26289069
• Research Institution: Osaka Electro-Communication University
• Principal Investigator: 登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
• Co-Investigator(Kenkyū-buntansha): 小枝 正直 大阪電気通信大学, 総合情報学部, 准教授 (10411232) ; 大西 克彦 大阪電気通信大学, 総合情報学部, 准教授 (20359855) ; 海堀 昌樹 関西医科大学, 医学部, 准教授 (30333199) ; 陳 延偉 立命館大学, 情報理工学部, 教授 (60236841) ; 權 雅憲 関西医科大学, 医学部, 教授 (70225605)
• Project Period (FY): 2014-04-01 – 2018-03-31
• Keywords: 手術ナビゲーション / GPGPU / 並列処理 / 深度画像 / Zバッファリング

Outline of Annual Research Achievements

（項目１）の「術前にCT/MRIスキャンしたDICOMから３脈管や癌組織を抽出し、それらをSTL多面体に変換し、仮想肝臓STLと実肝臓の位置・姿勢および形状を合致させる。」を手動および半自動で実施した。これを自動で実施することは困難であることが実地で理解されたので、我々は少しでも人間の労力を省くことを試みた。
（項目２）の「実肝臓の挙動を深度カメラでリアルタイム計測し、その深度画像と仮想肝臓STLのzバッファが合致するよう、仮想肝臓STLを平行・回転・変形させる。」は、シミュレーションでの評価よりも実験での評価の方が良好な結果が得られたので、積極的に実験評価した。手術室において無影灯2台で術部を照射した実験では、許容精度1㎝がまだ得られていない。深度カメラの距離精度に影響するスペクトルを除去するため遮光フィルタで無影灯を蓋ったりして、許容精度1㎝の達成を目指している。
（項目３）の「肝臓表面の形状変化に伴って、肝臓内部の３脈管や癌組織のSTL多面体の頂点のZ座標を更新し、それらの多面体を独立に変形させる。」は、まだ試作の域を超えていないものの、各種の物理パラメータを変更することで一定の追従性が確認できた。
（項目４）の「メス先から3脈管および癌組織までの距離を閾値処理し、それらに過度に接近した場合、色彩・音声・振動で医師の注意を喚起する。」、および（項目５）の「直近のメス動作ベクトル、メス先端と３脈管上および癌組織上の近接2点ベクトル、およびそれらのユークリッド距離を利用することで、次に推奨されるメス動作ベクトルを実時間で医師に提示する。」はほぼ完成した。メス先と血管の距離が小さすぎて危険な場面では、背景色を代えたり、音声や振動で知らせたり、メスに取り付けたLED表示器で知らせたりした。
これらより、医師のメスを最適誘導する手術ナビゲータの試作システムが完成しつつある。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究室における実験では、医師から提示されている許容精度（1cm）で実肝臓と仮想肝臓の一致が達成されていた。しかし、そのシステムを、実際の手術室での無影灯2台と模造人体オクルージョン下の実験で評価したところ、実臓器と仮想臓器の移動・変形の連動精度が十分でないことが判明した。そして、この影響より、主要５項目を融合させた手術ナビゲータシステムの構築が遅延している。

Strategy for Future Research Activity

まず、実際の手術室での無影灯2台と模造人体オクルージョン下の実験において、実臓器と仮想臓器の移動・変形の連動精度を、医師から提示されている許容精度（1cm）に抑えることを実施する。その上で、前記の主要５項目を融合させた手術ナビゲータシステムを構築し、そのシステムの実用性をより現実的な実験で評価する。

Causes of Carryover

実際の手術室（無影灯2台、および実肝臓が模造人体に隠されるオクルージョン下）における実験において、実臓器と仮想臓器の移動・変形の連動精度を、医師から提示されている許容精度（1cm）に抑えられなかったことが主たる理由である。これが解決されなかったので、主要５項目を融合させた手術ナビゲータシステムの構築に取り掛かれなかった。

Expenditure Plan for Carryover Budget

まず早急に、実際の手術室での無影灯2台と模造人体オクルージョン下の実験において、実臓器と仮想臓器の移動・変形の連動精度を、医師から提示されている許容精度（1cm）に抑える。次に、主要５項目を融合させた手術ナビゲータシステムを構築する。さらに、このシステムの実用性を、より現実的な実験で評価する。次年度は、これらに要するソフトウエア製作費、人件費・謝金、物品費、および旅費の予算を計上する。

Research Products

• [Journal Article] Image Overlay Support with 3D CG Organ Model for Robot-Assisted Laparoscopic Partial Nephrectomy (2016)
  • Author(s): M. Koeda, K. Mizushino, K. Onishi, H. Noborio, T. Kunii, M. Kayaki, A. Sengiku, A. Sawada, T. Yoshikawa, Y. Matsui and O. Ogawa
  • Journal Title: HCI International 2016; Posters' Extended Abstracts, Volume 617 of the series Communications in Computer and Information Science, Springer International Publishing Switzerland Volume: 617 Pages: 508-513
  • DOI: 10.1007/978-3-319-40548-3_84
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Comparison of GPU-based and CPU-based Algorithms for Determining the Minimum Distance between a CUSA Scalper and Blood Vessels (2016)
  • Author(s): Noborio, H., Kunii, T. and Mizushino, K.
  • Journal Title: The SCITEPRESS Digital Library (Science and Technology Publications, Lda) Volume: 3 Pages: 128-136
  • DOI: 10.5220/0005634801280136
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Tracking a Real Liver using a Virtual Liver and an Experimental Evaluation with Kinect v2 (2016)
  • Author(s): Hiroshi Noborio, Kaoru Watanabe, Masahiro Yagi, Yasuhiro Ida, Shigeki Nankaku, Katsuhiko Onishi, Masanao Koeda, Masanori Kon, Kosuke Matsui, Masaki Kaibori
  • Journal Title: F.Ortuno and I.Rojas (Eds.), IWBBIO 2016, LNBI 9656, Springer International Publishing Switzerland Volume: 1 Pages: 149-162
  • DOI: 10.1007/978-3-319-31744-1_14
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Depth Image Matching Algorithm for Deforming and Cutting a Virtual Liver via its Real Liver Captured by Kinect v2 (2016)
  • Author(s): Hiroshi Noborio, Kaoru Watanabe, Masahiro Yagi, Kentaro Takamoto, Shigeki Nankaku, Katsuhiko Onishi, Masanao Koeda, Masanori Kon, Kosuke Matsui, Masaki Kaibori
  • Journal Title: F.Ortuno and I.Rojas (Eds.), IWBBIO 2016, LNBI 9656, Springer International Publishing Switzerland Volume: 1 Pages: 196-205
  • DOI: 10.1007/978-3-319-31744-1_18
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] 肝臓位置姿勢推定，メス先端位置推定，肝臓手術シミュレータを統合した手術サポートシステム (2016)
  • Author(s): 矢野 大貴，吉田 将悟，土井 万由子，小枝 正直，登尾 啓史，大西 克彦，水篠 公範，海堀 昌樹
  • Organizer: 第25回日本コンピュータ外科学会大会 (JSCAS25)
  • Place of Presentation: 東京工科大学蒲田キャンパス（東京都・大田区）
  • Year and Date: 2016-11-26 – 2016-11-27
• [Presentation] Evaluation of Depth-Depth Matching Algorithm for Following Human Liver whose Motion is Practical and also is Occluded by Human Body (2016)
  • Author(s): Kaoru Watanabe, Masahiro Yagi, Katsuhiko Onishi, Masanao Koeda, Hiroshi Noborio, Masaki Kaibori
  • Organizer: the 10th MedViz Conference and the 6th Eurographics Workshop on Visual Computing for Biology and Medicine (EG VCBM)
  • Place of Presentation: Bergen, Norway
  • Year and Date: 2016-09-07 – 2016-09-09
  • Int'l Joint Research
• [Presentation] A Mechanical System Directly Attaching beside a Surgical Bed for Measuring Surgical Area Precisely by Depth Camera (2016)
  • Author(s): Kaoru Watanabe, Masatoshi Kayaki, Kiminori Mizushino, Masahiro Nonaka, Hiroshi Noborio
  • Organizer: the 10th MedViz Conference and the 6th Eurographics Workshop on Visual Computing for Biology and Medicine (EG VCBM)
  • Place of Presentation: Bergen, Norway
  • Year and Date: 2016-09-07 – 2016-09-09
  • Int'l Joint Research
• [Presentation] 肝臓手術サポートシステムのためのメス先端位置推定 (2016)
  • Author(s): 土井 万由子，矢野 大貴，小枝 正直，登尾 啓史，大西 克彦，水篠 公範，榧木 方俊，松井 康輔，海堀 昌樹
  • Organizer: 第16回日本VR医学会学術大会 (JSMVR2016)
  • Place of Presentation: 横浜情報文化センター（神奈川県・横浜市）
  • Year and Date: 2016-09-03 – 2016-09-03
• [Presentation] 肝臓手術サポートシステムのためのインテリジェントメス開発と術者ナビゲーションの検証 (2016)
  • Author(s): 矢野 大貴，吉田 将悟，土井 万由子，小枝 正直，登尾 啓史，大西 克彦，水篠 公範
  • Organizer: the 1st Robotics Ongoing Breakthroughs (ROOB2016)
  • Place of Presentation: 奈良先端科学技術大学院大学（奈良県・生駒市）
  • Year and Date: 2016-09-02 – 2016-09-02
• [Presentation] GPU-based Omnidirectional Shortest Distance Algorithm And Its Evaluation By Changing GPU Cores (2016)
  • Author(s): Hiroshi Noborio, Takahiro Kunii and Kiminori Mizushino
  • Organizer: the 13th International Conferenc of Computational Intelligence methods for Bioinformatics and Biostatistics (CIBB'16)
  • Place of Presentation: the University of Stirling, Scotland UK
  • Year and Date: 2016-09-01 – 2016-09-03
  • Int'l Joint Research
• [Presentation] Brain Shift Simulation Controlled by Directly Captured Surface Points (2016)
  • Author(s): Kaoru Watanabe, Masatoshi Kayaki, Kiminori Mizushino, Masahiro Nonaka, Hiroshi Noborio
  • Organizer: the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'16)
  • Place of Presentation: Orlando Florida USA
  • Year and Date: 2016-08-16 – 2016-08-20
  • Int'l Joint Research
• [Presentation] Capturing a Brain Shift Directly by the Depth Camera Kinect v2 (2016)
  • Author(s): Kaoru Watanabe, Masatoshi Kayaki, Kiminori Mizushino, Masahiro Nonaka, Hiroshi Noborio
  • Organizer: the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'16)
  • Place of Presentation: Orlando Florida USA
  • Year and Date: 2016-08-16 – 2016-08-20
  • Int'l Joint Research
• [Presentation] A Potential Function-Based Scalpel Navigation Method that Avoids Blood Vessel Groups during Excision of Cancerous Tissue (2016)
  • Author(s): Hiroshi Noborio, Kazuma Aoki, Takahiro Kunii, and Kiminori Mizushino
  • Organizer: the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'16)
  • Place of Presentation: Orlando Florida USA
  • Year and Date: 2016-08-16 – 2016-08-20
  • Int'l Joint Research
• [Presentation] Image Overlay Support with 3D CG Organ Model for Robot-Assisted Laparoscopic Partial Nephrectomy (2016)
  • Author(s): M. Koeda, K. Mizushino, K. Onishi, H. Noborio, T. Kunii, M. Kayaki, A. Sengiku, A. Sawada, T. Yoshikawa, Y. Matsui and O. Ogawa
  • Organizer: the 18th International Conference, HCI International 2016
  • Place of Presentation: Toronto, Canada
  • Year and Date: 2016-07-17 – 2016-07-22
  • Int'l Joint Research
• [Presentation] Capturing skull and brain surface by Kinect v2 for brain-shift simulated by GPU, (2016)
  • Author(s): Hiroshi Noborio, Masatoshi Kayaki, Kiminori Mizushino, Masahiro Nonaka, Kaoru Watanabe
  • Organizer: the 7th International Congress of the World Federation of Skull Base Societies
  • Place of Presentation: 大阪府立国際会議場（大阪府・大阪市）
  • Year and Date: 2016-06-14 – 2016-06-17
  • Int'l Joint Research
• [Presentation] メス先端と対象物体との距離をLEDレベルメータで表示するインテリジェントメスの開発と術者ナビゲーションの検証 (2016)
  • Author(s): 矢野 大貴，土井 万由子，小枝 正直，大西 克彦，登尾 啓史
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会2016 (ROBOMECH2016)
  • Place of Presentation: パシフィコ横浜（神奈川県・横浜市）
  • Year and Date: 2016-06-08 – 2016-06-11
• [Presentation] Tracking a Real Liver using a Virtual Liver and an Experimental Evaluation with Kinect v2 (2016)
  • Author(s): Hiroshi Noborio, Kaoru Watanabe, Masahiro Yagi, Yasuhiro Ida, Shigeki Nankaku, Katsuhiko Onishi, Masanao Koeda, Masanori Kon, Kosuke Matsui, Masaki Kaibori
  • Organizer: the 4th International Work-Conference on Bioinformatics and Biomedical Engineering (IWBBIO 2016)
  • Place of Presentation: Granada Spain
  • Year and Date: 2016-04-20 – 2016-04-22
  • Int'l Joint Research
• [Presentation] Depth Image Matching Algorithm for Deforming and Cutting a Virtual Liver via its Real Liver Captured by Kinect v2 (2016)
  • Author(s): Hiroshi Noborio, Kaoru Watanabe, Masahiro Yagi, Kentaro Takamoto, Shigeki Nankaku, Katsuhiko Onishi, Masanao Koeda, Masanori Kon, Kosuke Matsui, Masaki Kaibori
  • Organizer: the 4th International Work-Conference on Bioinformatics and Biomedical Engineering (IWBBIO 2016)
  • Place of Presentation: Granada Spain
  • Year and Date: 2016-04-20 – 2016-04-22
  • Int'l Joint Research
• [Remarks] 登尾研究室ホームページ
  • URL: http://noblab.jp/