2021 Fiscal Year Research-status Report
デプスデプスマッチングの大域収束性に基づく脳移動と脳変形の分離について
| Project/Area Number |
20K04407
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小枝 正直 岡山県立大学, 情報工学部, 准教授 (10411232)
大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855)
埜中 正博 関西医科大学, 医学部, 教授 (90577462)
上善 恒雄 大阪電気通信大学, 総合情報学部, 教授 (70388396)
橘 克典 大阪電気通信大学, 医療健康科学部, 准教授 (40516689)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | Depth-Depth Matching / デプスカメラ / 臓器移動追従 / 外科手術ナビゲータ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は“Depth-Depth Matching”および"SLAM（Simultaneous Localization and Mapping）の特徴点変位"を利用したロバスト探索で、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。ここでは、マイクロスコープや腹腔鏡、およびダビンチロボットにおいて、2Dステレオ画像から3D距離画像を抽出したり、無影灯中心の標準カラーカメラからSLAMで臓器表面の特徴点及びその変位を抽出したりする。また、無影灯にデプスカメラ（Optical SCSやIntel RealSense D435）を装着することで、オクルージョンのない3Dデプス画像を抽出する。そして、それらをGPUのz-bufferから得られる仮想デプス画像と比較し、患者へ介入することのない臓器追従重畳を実現する。
2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限されたりした。この状態は、2022年4月あたりまで続いており、術部の動画像からカメラキャリブレーションが正確にできるシステム（ソフトウエアとハードウエア）の試作、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データに依存することなく提案アルゴリズムを評価できるシミュレータを作成したり、それを並行・回転移動のみならず変形にも対応できるように現在もしている。また、その変形にも対応できるアルゴリズムも試作している。2022年5月から、関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが解禁されつつあり、必要な実験に順次取り掛かるつもりである。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
【方法１】顕微鏡や内視鏡のステレオ動画像よりデプス動画像を自動生成し、Depth-Depth Matchingより仮想臓器を実臓器に合わせる。これは標準治療であるマイクロスコープ手術や腹腔鏡手術、およびダビンチロボット手術などで実現できる。そこでは、脳の術中ステレオ2D動画像から3Dカラー動画像およびデプス動画像が自動生成できる。現在は、術部の動画像からカメラキャリブレーションが正確にできるシステム（ソフトウエアとハードウエア）の試作に取り組んでおり、関西医科大学への立ち入りが解禁されたら手術室実験する予定である。
【方法２】無影灯の単眼カラー動画像をSLAM（Simultaneous Localization and Mapping）で処理し、表面特徴点群の移動ベクトル場により仮想臓器を移動や変
形させて実臓器に合致させる。現在は、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データによらず提案のアルゴリズムの臓器移動追従性能や臓器変形追従性能を評価している。回転移動と平行移動による位置姿勢合わせで吸収できなった変形を仮想脳に反映させるシステムも製作している。
【方法３】複数の小型・軽量デプスカメラ（Optical SCSやIntel RealSense D435）を無影灯に装着し、オクルージョンなく術部を撮影する。そして、【方法１】と同じ手法で移動や変形する実臓器に仮想臓器を合致させる。これは標準治療である無影灯下開腹手術で実現できるうえ、患者への介入や侵襲性がないという利点がある。2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、現在も大きな変化はない。研究者や学生の病院や手術室への立ち入りが解禁されたら、実証実験に取り組む予定である。
|
| Strategy for Future Research Activity |
本研究の目的は“Depth-Depth Matching”および"SLAM（Simultaneous Localization and Mapping）の特徴点変位"を利用したロバスト探索で、平行移動→回転移動→変形の順で、仮想脳を実脳に追従重畳させることである。
関西医科大学の手術室の利用は、COVID-19による医療崩壊・逼迫の状況次第なので、現在は手術中の動画像からカメラキャリブレーションが高精度で可能なシステムを構築し、手術室への立ち入りが可能となる日に備えている。また、従来のソフトウエアをUnityで統合し、Unityのアセットを使って仮想臓器の変形や臓器表面へのテクスチャーの貼付を実現している。これより、研究室において、DDM（Depth-Depth Matching）やSLAM（Simultaneous Localization and Mapping）を用いて、仮想臓器が実臓器を追従変形できるかどうかの評価を仮想的（シミュレーション）にできるようにしている。また、その際に用いる臓器追従アルゴリズムも、従来のDDMのデプス画像変位およびSLAMの特徴点変位を利用したものに加えて、両方の臓器3D輪郭をハッシュ法で探索するものも製作し、それらの評価を始
めている。
|
| Causes of Carryover |
2020年3月ごろからCOVID-19による医療崩壊・逼迫が起こり、研究者や学生の関西医科大学枚方病院の手術室や大阪電気通信大学の研究室・実験室への立ち入りが禁止されたり制限され、現在も元の状態には戻っていない。これより、術部の動画像からカメラキャリブレーションが正確にできるシステム（ソフトウエアとハードウエア）の試作、従来のソフトウエアをUnity化し、脳の変形や表面テクスチャの貼付を可能にし、手術室データによらずアルゴリズムを評価できるようにしたり、並行回転移動のみならず変形にも対応も対応できるアルゴリズムの試作をしている。これより、今年度はその他の予算が昨年度よりも必要になる予定である。
|
| Remarks |
登尾研究室 バーチャリリアリティ http://noblab.jp/
教員情報データベース https://research.osakac.ac.jp/index.php?%E7%99%BB%E5%B0%BE%E3%80%80%E5%95%93%E5%8F%B2
|
Research Products
(5 results)
