2022 Fiscal Year Annual Research Report
投影型拡張現実を用いた腹腔鏡手術支援システムの構築
| Project/Area Number |
21K21304
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
謝 淳 筑波大学, 計算科学研究センター, 研究員 (00913287)
|
|---|
| Project Period (FY) |
2021-08-30 – 2023-03-31
|
| Keywords | 外科手術支援 / 拡張現実 / 三次元センシング |
|---|
| Outline of Annual Research Achievements |
本研究は腹腔鏡映像の情報処理結果を、投影型拡張現実技術で提示することによって、患者腹部の皮膚が透明になるようなシースルーを実現するためのシステムを構築することで、腹腔鏡手術を支援することを目的とする。
昨年度において、「術者位置及び患者の体表形状変化を考慮した映像生成手法」の課題について取り組み、必要な関連技術のサーベイを行い、システムを構築してきた。具体的に、腹腔鏡手術のトレーニング環境を作成し、腹腔鏡システムを加え、擬似的に腹腔鏡映像を取得することが可能となった。術者の視点によって生じる映像の歪みを補正するために、モーショントラッキングシステムを導入し、術者の視点をリアルタイムで追跡可能となった。また、術野とプロジェクタとの位置関係、および投影面の形状を計測するために三次元カメラの導入を試みた。
最終年度において、患者の腹腔内情報を取得するための課題に取り組んでいる。術前診断データのCT画像に基づいて三次元復元を行った上、最先端の深層学習技術を駆使して異なる組織を区別できるように高精度なセグメンテーションを実現した。その結果を術者視点に応じてレンダリングし、体の表面に投影する。また、手術中にリアルタイムで腹腔内の三次元復元の目標に向かい、カメラの移動が限定的であっても広い視野で撮影可能な全天球カメラで撮影した映像から、あらゆる新規視点画像を合成する技術を開発した。さらに、手術器具の位置姿勢情報を取得し、昨年度で構築した提示システムと組み合わせ、体内に挿入した器具の位置関係が体表面に提示可能となり、直感的に把握可能になった。最後に、複数の使用例を示すプロトタイプを作成し、初期評価と研究発表を行った。
今後の課題として、動的な環境に適したセンシング技術の開発や、実用性等につて包括的な評価実験などが挙げられる。
|
