2020 Fiscal Year Research-status Report
デプスデプスマッチングの大域収束性に基づく脳移動と脳変形の分離について
| Project/Area Number |
20K04407
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855)
埜中 正博 関西医科大学, 医学部, 教授 (90577462)
上善 恒雄 大阪電気通信大学, 総合情報学部, 教授 (70388396)
橘 克典 大阪電気通信大学, 医療健康科学部, 准教授 (40516689)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | Depth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は“Depth-Depth Matching”および"SLAM（Simultaneous Localization and Mapping）の特徴点変位"を利用したロバスト探索で、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。
ここでは、マイクロスコープや腹腔鏡、およびダビンチロボットにおいて、2Dステレオ画像から3D距離画像を抽出したり、無影灯中心の標準カラーカメラからSLAMで臓器表面の特徴点及びその変位を抽出したりする。また、無影灯にデプスカメラ（Optical SCSやIntel RealSense D435）を装着することで、オクルージョンのない3Dデプス画像を抽出する。そして、それらをGPUのz-bufferから得られる仮想デプス画像と比較し、患者へ介入することのない臓器追従重畳を実現する。
2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限されたりした。これより、術部の動画像からカメラキャリブレーションが正確にできるシステム（ソフトウエアとハードウエア）の試作、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データに依存することなく提案アルゴリズムを評価できるシミュレータを作成したり、それを並行・回転移動のみならず変形にも対応できるようにしている。また、その変形にも対応できるアルゴリズムも試作している。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
【方法１】顕微鏡や内視鏡のステレオ動画像よりデプス動画像を自動生成し、Depth-Depth Matchingより仮想臓器を実臓器に合わせる。これは標準治療であるマイクロスコープ手術や腹腔鏡手術、およびダビンチロボット手術などで実現できる。そこでは、脳の術中ステレオ2D動画像から3Dカラー動画像およびデプス動画像が自動生成できる。現在は、術部の動画像からカメラキャリブレーションが正確にできるシステム（ソフトウエアとハードウエア）の試作に取り組んでおり、時機を見て関西医科大学の手術現場に導入する予定である。
【方法２】無影灯の単眼カラー動画像をSLAM（Simultaneous Localization and Mapping）で処理し、表面特徴点群の移動ベクトル場により仮想臓器を移動や変形させて実臓器に合致させる。現在は、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データによらず提案のアルゴリズムの臓器移動追従性能や臓器変形追従性能を評価できるようにしている。回転移動と平行移動による位置姿勢合わせで吸収できなった変形をUnityのアセットで仮想脳に反映させる予定もしている。
【方法３】複数の小型・軽量デプスカメラ（Optical SCSやIntel RealSense D435）を無影灯に装着し、オクルージョンなく術部を撮影する。そして、【方法１】と同じ手法で移動や変形する実臓器に仮想臓器を合致させる。これは標準治療である無影灯下開腹手術で実現できるうえ、患者への介入や侵襲性がないという利点がある。2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の病院や手術室への立ち入りが禁止されたり制限されたことから、今のところ実証実験には取り組めていない。
|
| Strategy for Future Research Activity |
本研究の目的は“Depth-Depth Matching”および"SLAM（Simultaneous Localization and Mapping）の特徴点変位"を利用したロバスト探索で、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。
関西医科大学の手術室の利用は、COVID-19による医療崩壊・逼迫の状況次第なので、現在は手術中の動画像からカメラキャリブレーションが高精度で可能なシステムを構築し、手術室への立ち入り可能な日に備えている。また、従来のソフトウエアをUnityで統合し、Unityのアセットを使って仮想臓器の変形や臓器表面へのテクスチャーの貼付を実現している。これより、研究室において、DDM（Depth-Depth Matching）やSLAM（Simultaneous Localization and Mapping）を用いて、仮想臓器が実臓器を追従変形できるかどうかの評価を仮想的（シミュレーション）にできるようにしている。また、その際に用いる臓器追従アルゴリズムも、従来のDDMのデプス画像変位およびSLAMの特徴点変位を利用したものに加えて、両方の臓器3D輪郭をハッシュ法で探索するものも製作し、それらの評価を始める予定である。
|
| Causes of Carryover |
2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限された。これより、術部の動画像からカメラキャリブレーションが正確にできるシステム（ソフトウエアとハードウエア）の試作、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データによらずアルゴリズムを評価できるようにしたり、並行回転移動のみならず変形にも対応も対応できるアルゴリズムの試作をしたりしている。これより、今年度はその他の予算が昨年度よりも必要になる予定である。
|
