• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

デプスデプスマッチングの大域収束性に基づく脳移動と脳変形の分離について

Research Project

Project/Area Number 20K04407
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 20020:Robotics and intelligent system-related
Research InstitutionOsaka Electro-Communication University

Principal Investigator

登尾 啓史  大阪電気通信大学, 総合情報学部, 教授 (10198616)

Co-Investigator(Kenkyū-buntansha) 小枝 正直  岡山県立大学, 情報工学部, 准教授 (10411232)
大西 克彦  大阪電気通信大学, 総合情報学部, 教授 (20359855)
埜中 正博  関西医科大学, 医学部, 教授 (90577462)
上善 恒雄  大阪電気通信大学, 総合情報学部, 教授 (70388396)
橘 克典  大阪電気通信大学, 医療健康科学部, 准教授 (40516689)
Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
KeywordsDepth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ / 臓器変形追従
Outline of Research at the Start

この研究では、位置と姿勢が異なる同形の仮想肝臓と実肝臓を正確に重ね合わせるため、“Depth-Depth Matching”(仮想デプス画像と実デプス画像の差を最小化する)や"SLAM(Simultaneous Localization and Mapping)の特徴点変位差"を最小化する。このために最急降下法を利用するが、その重畳点に対するデジタル探索関数(インプリシットなポテンシャル関数)が大域的に単峰であることが最近わかった。
そこでこの安定性に基づき、位置・姿勢のみならず形状についても仮想脳と実脳を正確に重畳させる機能を術中リアルタイムに持たせた脳神経外科手術支援ナビゲータを構築する。

Outline of Annual Research Achievements

本研究の目的は“Depth-Depth Matching”および"SLAM(Simultaneous Localization and Mapping)の特徴点変位"を利用したロバスト探索で、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。ここでは、マイクロスコープや腹腔鏡、およびダビンチロボットにおいて、2Dステレオ画像から3D距離画像を抽出したり、無影灯中心の標準カラーカメラからSLAMで臓器表面の特徴点及びその変位を抽出したりする。また、無影灯にデプスカメラ(Optical SCSやIntel RealSense D435)を装着することで、オクルージョンのない3Dデプス画像を抽出する。そして、それらをGPUのz-bufferから得られる仮想デプス画像と比較し、患者へ介入することのない臓器追従重畳を実現する。

2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限されたりした。この状態は、2022年4月あたりまで続いており、術部の動画像からカメラキャリブレーションが正確にできるシステム(ソフトウエアとハードウエア)の試作、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データに依存することなく提案アルゴリズムを評価できるシミュレータを作成したり、それを並行・回転移動のみならず変形にも対応できるように現在もしている。また、その変形にも対応できるアルゴリズムも試作している。2022年5月から、関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが解禁されつつあり、必要な実験に順次取り掛かるつもりである。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

【方法1】顕微鏡や内視鏡のステレオ動画像よりデプス動画像を自動生成し、Depth-Depth Matchingより仮想臓器を実臓器に合わせる。これは標準治療であるマイクロスコープ手術や腹腔鏡手術、およびダビンチロボット手術などで実現できる。そこでは、脳の術中ステレオ2D動画像から3Dカラー動画像およびデプス動画像が自動生成できる。現在は、術部の動画像からカメラキャリブレーションが正確にできるシステム(ソフトウエアとハードウエア)の試作に取り組んでおり、関西医科大学への立ち入りが解禁されたら手術室実験する予定である。

【方法2】無影灯の単眼カラー動画像をSLAM(Simultaneous Localization and Mapping)で処理し、表面特徴点群の移動ベクトル場により仮想臓器を移動や変
形させて実臓器に合致させる。現在は、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データによらず提案のアルゴリズムの臓器移動追従性能や臓器変形追従性能を評価している。回転移動と平行移動による位置姿勢合わせで吸収できなった変形を仮想脳に反映させるシステムも製作している。

【方法3】複数の小型・軽量デプスカメラ(Optical SCSやIntel RealSense D435)を無影灯に装着し、オクルージョンなく術部を撮影する。そして、【方法1】と同じ手法で移動や変形する実臓器に仮想臓器を合致させる。これは標準治療である無影灯下開腹手術で実現できるうえ、患者への介入や侵襲性がないという利点がある。2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、現在も大きな変化はない。研究者や学生の病院や手術室への立ち入りが解禁されたら、実証実験に取り組む予定である。

Strategy for Future Research Activity

本研究の目的は“Depth-Depth Matching”および"SLAM(Simultaneous Localization and Mapping)の特徴点変位"を利用したロバスト探索で、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。
関西医科大学の手術室の利用は、COVID-19による医療崩壊・逼迫の状況次第なので、現在は手術中の動画像からカメラキャリブレーションが高精度で可能なシステムを構築し、手術室への立ち入りが可能となる日に備えている。また、従来のソフトウエアをUnityで統合し、Unityのアセットを使って仮想臓器の変形や臓器表面へのテクスチャーの貼付を実現している。これより、研究室において、DDM(Depth-Depth Matching)やSLAM(Simultaneous Localization and Mapping)を用いて、仮想臓器が実臓器を追従変形できるかどうかの評価を仮想的(シミュレーション)にできるようにしている。また、その際に用いる臓器追従アルゴリズムも、従来のDDMのデプス画像変位およびSLAMの特徴点変位を利用したものに加えて、両方の臓器3D輪郭をハッシュ法で探索するものも製作し、それらの評価を始
めている。

Report

(2 results)
  • 2021 Research-status Report
  • 2020 Research-status Report

Research Products

(13 results)

All 2021 2020 Other

All Journal Article (10 results) (of which Peer Reviewed: 10 results,  Open Access: 10 results) Presentation (1 results) Remarks (2 results)

  • [Journal Article] Convergence Stability of Depth-Depth-Matching-Based Steepest Descent Method in Simulated Liver Surgery2021

    • Author(s)
      Miho Asano, Tomohiro Kuroda, Satoshi Numata, Tuneo Jozen, Tomoki Yoshikawa, and Hiroshi Noborio
    • Journal Title

      International Journal of Pharma Medicine and Biological Sciences

      Volume: vol. 10 Pages: 60-67

    • DOI

      10.18178/ijpmbs.10.2.60-67

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Depth-Depth Matching of Virtual and Real Images for a Surgical Navigation System2021

    • Author(s)
      Hiroshi Noborio, Katsuhiko Onishi, Masanao Koeda, Kaoru Watanabe, and Miho Asano
    • Journal Title

      International Journal of Pharma Medicine and Biological Sciences

      Volume: vol. 10 Pages: 40-48

    • DOI

      10.18178/ijpmbs.10.2.40-48

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Comparative Study of Potential-Based and Sensor-Based Surgical Navigation in Several Liver Environments2021

    • Author(s)
      Takahiro Kunii, Miho Asano, Kanako Fujita, Katsunori Tachibana, Hiroshi Noborio
    • Journal Title

      Human-Computer Interaction. Interaction Techniques and Novel Applications. HCII 2021. Lecture Notes in Computer Science. Springer International Publishing

      Volume: vol.12763 Pages: 551-565

    • DOI

      10.1007/978-3-030-78465-2_40

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Construction of a Knowledge Base for Empirical Knowledge in Neurosurgery2021

    • Author(s)
      Ayuki Joto, Takahiro Fuchi, Hiroshi Noborio, Katsuhiko Onishi, Masahiro Nonaka, Tsuneo Jozen
    • Journal Title

      Interaction Techniques and Novel Applications. HCII 2021. Lecture Notes in Computer Science

      Volume: vol.12763 Pages: 521-537

    • DOI

      10.1007/978-3-030-78465-2_38

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Voxel-Based Route-Search Algorithm for Tumor Navigation and Blood Vessel Avoidance2021

    • Author(s)
      Takahiro Kunii, Miho Asano, Hiroshi Noborio
    • Journal Title

      Human-Computer Interaction. Interaction Techniques and Novel Applications. HCII 2021. Lecture Notes in Computer Science. Springer International Publishing

      Volume: vol.12763 Pages: 566-581

    • DOI

      10.1007/978-3-030-78465-2_41

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Current Status and Challenges in Augmented-Reality Navigation System for Robot-Assisted Laparoscopic Partial Nephrectomy2020

    • Author(s)
      Hamada Akihiro、Sawada Atsuro、Kono Jin、Koeda Masanao、Onishi Katsuhiko、Kobayashi Takashi、Yamasaki Toshinari、Inoue Takahiro、Noborio Hiroshi、Ogawa Osamu
    • Journal Title

      Lecture Notes in Computer Science, Springer

      Volume: 12182 Pages: 620-629

    • DOI

      10.1007/978-3-030-49062-1_42

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Study on the Development of Augmented-Reality Navigation System for Transsphenoidal Surgery2020

    • Author(s)
      Onishi Katsuhiko、Fumiyama Seiyu、Miki Yohei、Nonaka Masahiro、Koeda Masanao、Noborio Hiroshi
    • Journal Title

      Lecture Notes in Computer Science, Springer

      Volume: 12183 Pages: 623-638

    • DOI

      10.1007/978-3-030-49065-2_43

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Hashing Algorithm of Depth Image Matching for Liver Surgery2020

    • Author(s)
      Numata Satoshi、Koeda Masanao、Onishi Katsuhiko、Watanabe Kaoru、Noborio Hiroshi
    • Journal Title

      Lecture Notes in Computer Science, Springer

      Volume: 12181 Pages: 625-634

    • DOI

      10.1007/978-3-030-49059-1_46

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Stability Maintenance of Depth-Depth Matching of Steepest Descent Method Using an Incision Shape of an Occluded Organ2020

    • Author(s)
      Asano Miho、Kuroda Tomohiro、Numata Satoshi、Jozen Tsuneo、Yoshikawa Tomoki、Noborio Hiroshi
    • Journal Title

      Lecture Notes in Computer Science, Springer

      Volume: 12183 Pages: 539-555

    • DOI

      10.1007/978-3-030-49065-2_38

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Deadlock-Free and Collision-Free Liver Surgical Navigation by Switching Potential-Based and Sensor-Based Functions2020

    • Author(s)
      Noborio Hiroshi、Kawai Kiyomi、Watanabe Kaoru、Tachibana Katsunori、Kunii Takahiro、Mizushino Kiminori
    • Journal Title

      Lecture Notes in Computer Science, Springer

      Volume: 12183 Pages: 604-622

    • DOI

      10.1007/978-3-030-49065-2_42

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 脳神経外科手術を支援する知見の蓄積と利用のためのインタフェースの検討2020

    • Author(s)
      上東 亜佑稀, 渕 崇洋, 大西 克彦, 上善 恒雄
    • Organizer
      第25回日本バーチャルリアリティ学会大会予稿集
    • Related Report
      2020 Research-status Report
  • [Remarks] 登尾研究室 バーチャリリアリティ

    • URL

      http://noblab.jp/

    • Related Report
      2020 Research-status Report
  • [Remarks] 教員情報データベース

    • URL

      https://research.osakac.ac.jp/index.php?%E7%99%BB%E5%B0%BE%E3%80%80%E5%95%93%E5%8F%B2

    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi