デプスデプスマッチングの大域収束性に基づく脳移動と脳変形の分離について

2022 年度 実績報告書

• 研究課題/領域番号: 20K04407
• 研究機関: 大阪電気通信大学
• 研究代表者: 登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
• 研究分担者: 小枝 正直 岡山県立大学, 情報工学部, 准教授 (10411232) ; 大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855) ; 埜中 正博 関西医科大学, 医学部, 教授 (90577462) ; 上善 恒雄 大阪電気通信大学, 総合情報学部, 教授 (70388396) ; 橘 克典 大阪電気通信大学, 医療健康科学部, 准教授 (40516689) ; 朝野 美穂 大阪国際大学短期大学部, その他部局等, 講師 (60964062)
• 研究期間 (年度): 2020-04-01 – 2023-03-31
• キーワード: Depth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ

研究実績の概要

2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限されたりした。
本研究の目的は、ロバスト探索により、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。そのため、術部の2Dステレオ画像から3D距離画像を抽出するため、マイクロスコープを各倍率でキャリブレーションした。また、SLAM（Simultaneous Localization and Mapping）で臓器表面の特徴点やその変位を抽出した。さらに、マイクロスコープにデプスカメラ（Intel RealSense D435）を装着し、オクルージョンのない術部の3Dデプス画像を直接取得できるようにした。しかし、前述の理由より、これらの統合ナビゲータを実際の外科手術に試すことはかなわなかった。
一方、COVID-19下でも有効に機能する「メタバース外科手術ナビゲータ」は完成した。これは、キャリブレーションボードが撮影された複数画像より正確にカメラキャリブレーションする新システムと従来の臓器追従ソフトウエアをUnityで統合したものである。ここでは、実臓器を模擬するマスター仮想臓器と仮想臓器を模擬するスレーブ仮想臓器が連動して動作する。Unityでは、マスター脳の変形や表面テクスチャの貼付が可能であり、SLAM（Simultaneous Localization and Mapping）やICP（Iterative closest point）に基づく臓器追従アルゴリズムの精度評価ができる。これは、実臓器を模擬するマスター仮想臓器が、並行・回転移動のみならず変形にも対応できることから、今後メタバース医工連携の基礎ソフトウエアとして利用できる。現在、論文や国際会議発表に向けて、この基礎ソフトウエアを多方面に整備している。

研究成果

• [雑誌論文] System to Check Organs, Malignant Tumors, Blood Vessel Groups, and Scalpel Paths in DICOM with a 3D Stereo Immersive Sensory HMD (2023)
  • 著者名/発表者名: Takahiro Kunii, Kaoru Watanabe, Michiru Mizoguchi, Hiroshi Noborio
  • 雑誌名: In. Kurosu M. (eds) Human-Computer Interaction. Interaction Techniques and Novel Applications, HCII 2023 巻: 印刷中 ページ: 印刷中
  • 査読あり / オープンアクセス
• [雑誌論文] DICOM-Based Voxel-Supported Blood-Vessel-Avoiding Scalpel Navigation (2022)
  • 著者名/発表者名: Kunii Takahiro、Asano Miho、Noborio Hiroshi
  • 雑誌名: In. Kurosu M. (eds) Human-Computer Interaction. Interaction Techniques and Novel Applications. HCII 2022, LNCS 巻: 13303 ページ: 251～263
  • DOI: 10.1007/978-3-031-05409-9_19
  • 査読あり / オープンアクセス
• [雑誌論文] Development of an Algorithm to Artificially Create Virtual Brain Deformations for Brain DICOM (2022)
  • 著者名/発表者名: Mori Takumi、Nonaka Masahiro、Kunii Takahiro、Koeda Masanao、Noborio Hiroshi
  • 雑誌名: In. Kurosu M. (eds) Human-Computer Interaction. Interaction Techniques and Novel Applications. HCII 2022, LNCS 巻: 13303 ページ: 388～402
  • DOI: 10.1007/978-3-031-05409-9_30
  • 査読あり / オープンアクセス
• [雑誌論文] Algorithm for Automatic Brain-Shift Detection Using the Distance Between Feature Descriptors (2022)
  • 著者名/発表者名: Mori Takumi、Nonaka Masahiro、Kunii Takahiro、Koeda Masanao、Watanabe Kaoru、Noborio Hiroshi
  • 雑誌名: In. Kurosu M. (eds) Human-Computer Interaction. Interaction Techniques and Novel Applications. HCII 2022, LNCS 巻: 13303 ページ: 376～387
  • DOI: 10.1007/978-3-031-05409-9_29
  • 査読あり / オープンアクセス
• [雑誌論文] Position and Orientation Registration of Intra-abdominal Point Cloud Generated from?Stereo Endoscopic Images and?Organ 3D Model Using Open3D (2022)
  • 著者名/発表者名: Koeda Masanao、Maeda Naoya、Hamada Akihiro、Sawada Atsuro、Magaribuchi Toshihiro、Ogawa Osamu、Onishi Katsuhiko、Noborio Hiroshi
  • 雑誌名: In. Kurosu M. (eds) Human-Computer Interaction. Interaction Techniques and Novel Applications, HCII 2022, LNCS 巻: 13303 ページ: 52～65
  • DOI: 10.1007/978-3-031-05409-9_5
  • 査読あり / オープンアクセス
• [学会発表] 断層画像群から生成したボクセルに基づく手術シミュレータ (2023)
  • 著者名/発表者名: 黒木悠矢，円藤祐太郎，小枝正直，大西克彦，登尾啓史
  • 学会等名: 第85回情報処理学会全国大会
• [備考] 大阪電気通信大学 教員情報データベース 登尾啓史
  • URL: https://research.osakac.ac.jp/index.php?%E7%99%BB%E5%B0%BE%E3%80%80%E5%95%93%E5%8F%B2
• [備考] 登尾研究室 バーチャルリアリティー
  • URL: https://noblab.jp/