2022 Fiscal Year Annual Research Report
デプスデプスマッチングの大域収束性に基づく脳移動と脳変形の分離について
| Project/Area Number |
20K04407
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小枝 正直 岡山県立大学, 情報工学部, 准教授 (10411232)
大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855)
埜中 正博 関西医科大学, 医学部, 教授 (90577462)
上善 恒雄 大阪電気通信大学, 総合情報学部, 教授 (70388396)
橘 克典 大阪電気通信大学, 医療健康科学部, 准教授 (40516689)
朝野 美穂 大阪国際大学短期大学部, その他部局等, 講師 (60964062)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | Depth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ |
|---|
| Outline of Annual Research Achievements |
2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限されたりした。
本研究の目的は、ロバスト探索により、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。そのため、術部の2Dステレオ画像から3D距離画像を抽出するため、マイクロスコープを各倍率でキャリブレーションした。また、SLAM（Simultaneous Localization and Mapping）で臓器表面の特徴点やその変位を抽出した。さらに、マイクロスコープにデプスカメラ（Intel RealSense D435）を装着し、オクルージョンのない術部の3Dデプス画像を直接取得できるようにした。しかし、前述の理由より、これらの統合ナビゲータを実際の外科手術に試すことはかなわなかった。
一方、COVID-19下でも有効に機能する「メタバース外科手術ナビゲータ」は完成した。これは、キャリブレーションボードが撮影された複数画像より正確にカメラキャリブレーションする新システムと従来の臓器追従ソフトウエアをUnityで統合したものである。ここでは、実臓器を模擬するマスター仮想臓器と仮想臓器を模擬するスレーブ仮想臓器が連動して動作する。Unityでは、マスター脳の変形や表面テクスチャの貼付が可能であり、SLAM（Simultaneous Localization and Mapping）やICP（Iterative closest point）に基づく臓器追従アルゴリズムの精度評価ができる。これは、実臓器を模擬するマスター仮想臓器が、並行・回転移動のみならず変形にも対応できることから、今後メタバース医工連携の基礎ソフトウエアとして利用できる。現在、論文や国際会議発表に向けて、この基礎ソフトウエアを多方面に整備している。
|
Research Products
(8 results)
