2022 Fiscal Year Final Research Report

On the Separation of Brain Migration and Brain Deformation Based on the Global Convergence Property of Depth Depth Matching

Research Project

PDF

Project/Area Number	20K04407
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 20020:Robotics and intelligent system-related
Research Institution	Osaka Electro-Communication University
Principal Investigator	Noborio Hiroshi 大阪電気通信大学, 総合情報学部, 教授 (10198616)
Co-Investigator(Kenkyū-buntansha)	小枝正直岡山県立大学, 情報工学部, 准教授 (10411232) 大西克彦大阪電気通信大学, 総合情報学部, 教授 (20359855) 埜中正博関西医科大学, 医学部, 教授 (90577462) 上善恒雄大阪電気通信大学, 総合情報学部, 教授 (70388396) 橘克典大阪電気通信大学, 医療健康科学部, 准教授 (40516689) 朝野美穂大阪国際大学短期大学部, その他部局等, 講師 (60964062)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	Depth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ
Outline of Final Research Achievements	In this study, the microscope was calibrated at various magnifications in order to extract 3D distance images from 2D stereo images of the surgical site. In addition, a depth camera was directly attached to the microscope to directly acquire 3D depth images of the surgical site without occlusion, enabling organ tracking with DDM in the operating theatre. Furthermore, a metaverse system was created to improve tracking efficiency by selecting a depth that is robust to deformation using a hashing method and calibrating from multiple images, which was integrated with conventional organ tracking software in Unity. In the future, the accuracy of the DDM, SLAM and ICP organ tracking algorithms will be evaluated in virtual experiments.
Free Research Field	情報工学
Academic Significance and Societal Importance of the Research Achievements	本研究で作成した「Unityに基づくメタバース外科手術ナビゲータ」を利用すると、遠隔下でも有効に医工連携の共同研究が実施できる。ここでは、仮想ステレオカメラをキャリブレーションボードでカメラキャリブレーションするところから、距離画像群、物体点群、特徴点移動ベクトルを抽出するところまで仮想で実験できる。Unityでは、マスター脳の変形や表面テクスチャの貼付が可能であり、変形実験にも利用できる。将来、実臓器を模擬するマスター仮想臓器に仮想臓器を模擬するスレーブ仮想臓器を連動させ、DDM・SLAM・ICPに基づくアルゴリズムの臓器追従精度が評価できるようにしたい。