| Project/Area Number |
20K04407
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
Noborio Hiroshi 大阪電気通信大学, 総合情報学部, 教授 (10198616)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小枝 正直 岡山県立大学, 情報工学部, 准教授 (10411232)
大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855)
埜中 正博 関西医科大学, 医学部, 教授 (90577462)
上善 恒雄 大阪電気通信大学, 総合情報学部, 教授 (70388396)
橘 克典 大阪電気通信大学, 医療健康科学部, 准教授 (40516689)
朝野 美穂 大阪国際大学短期大学部, その他部局等, 講師 (60964062)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | Depth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ / 臓器変形追従 |
|---|
| Outline of Research at the Start |
この研究では、位置と姿勢が異なる同形の仮想肝臓と実肝臓を正確に重ね合わせるため、“Depth-Depth Matching”（仮想デプス画像と実デプス画像の差を最小化する）や"SLAM（Simultaneous Localization and Mapping）の特徴点変位差"を最小化する。このために最急降下法を利用するが、その重畳点に対するデジタル探索関数（インプリシットなポテンシャル関数）が大域的に単峰であることが最近わかった。
そこでこの安定性に基づき、位置・姿勢のみならず形状についても仮想脳と実脳を正確に重畳させる機能を術中リアルタイムに持たせた脳神経外科手術支援ナビゲータを構築する。
|
| Outline of Final Research Achievements |
In this study, the microscope was calibrated at various magnifications in order to extract 3D distance images from 2D stereo images of the surgical site. In addition, a depth camera was directly attached to the microscope to directly acquire 3D depth images of the surgical site without occlusion, enabling organ tracking with DDM in the operating theatre. Furthermore, a metaverse system was created to improve tracking efficiency by selecting a depth that is robust to deformation using a hashing method and calibrating from multiple images, which was integrated with conventional organ tracking software in Unity. In the future, the accuracy of the DDM, SLAM and ICP organ tracking algorithms will be evaluated in virtual experiments.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究で作成した「Unityに基づくメタバース外科手術ナビゲータ」を利用すると、遠隔下でも有効に医工連携の共同研究が実施できる。ここでは、仮想ステレオカメラをキャリブレーションボードでカメラキャリブレーションするところから、距離画像群、物体点群、特徴点移動ベクトルを抽出するところまで仮想で実験できる。Unityでは、マスター脳の変形や表面テクスチャの貼付が可能であり、変形実験にも利用できる。将来、実臓器を模擬するマスター仮想臓器に仮想臓器を模擬するスレーブ仮想臓器を連動させ、DDM・SLAM・ICPに基づくアルゴリズムの臓器追従精度が評価できるようにしたい。
|
