2019 Fiscal Year Research-status Report
A Human Body Projection Mapping System for Medical Applications
| Project/Area Number |
18K11397
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
金田 和文 広島大学, 工学研究科, 教授 (30185946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
檜垣 徹 広島大学, 医系科学研究科(医), 共同研究講座准教授 (80611334)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | コンピュータグラフィックス / プロジェクションマッピング / 医療応用 / ボリュームレンダリング / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
外科手術支援のために、CT等によって得られた人体内部構造情報を体表面へプロジェックションマッピングするシステムの開発を行う。本システムの特徴は、プロジェクタの設置位置・姿勢をマーカーレスで自動検出し、投影方向の制約を受けずに、血管位置などの人体内部構造情報を体表面へプロジェクションマッピングすることができる。
医療支援のための体表面へのプロジェクションマッピングシステムを開発するために、前年度はシステム構築のための要素技術を開発し、それらを実装してプロトタイプシステムの構築を行った。システム構築のための要素技術は、(1) 臍と体側シルエットラインを用いたカメラ位置・姿勢の自動検出、(2) カメラ位置・姿勢からプロジェクタ位置・投影方向への変換、(3) 人体ボリュームデータの血管3次元位置の体表面への移動、(4) プロジェクタ位置・投影方向を仮想視点とした画像作成、である。 そして、3Dプリンタで出力された人体腹部モデルを用いてプロトタイプシステムの動作検証を行った。
本年度は、医療関係者が実際にシステムを容易に使用することができ、操作がわかり易く、設定の確認も十分に行うことができるシステムを目指し、グラフィカルユーザインターフェースを構築し、それらの要素技術を組み合わせて一連の操作をスムーズに行えるようにシステムの改良を行った。さらに、3Dプリンタで出力された人体腹部モデルを用いて、プロジェクタ位置や投影方向を変化させてモデル体表面への血管情報の投影実験を行い、プロジェクタ位置・姿勢の自動検出精度の検証や、投影方向を変化させても体表面に投影された血管位置が所定の位置に投影されることを確認した。また、要素技術(1)と(4)で用いているボリュームレンダリングの高速化や、ARシステムへの拡張のための基礎的な実験にも取り組んだ。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画の通り、Wi-Fi接続小型カメラとLEDポータブルプロジェクタを使い、本研究で開発した要素技術をラップトップ型コンピュータに組み込んだプロトタイプシステムを用いて、3Dプリンタで出力された1/2スケールの人体腹部モデルに血管情報を投影する実験を行い、プロジェクタの位置・姿勢の自動検出精度や投影方向に対する投影位置の不変性を検証し、システムの有用性を確かめることができた。グラフィカルユーザインターフェースを構築し、開発した要素技術を組み合わせて一連の操作をスムーズに行えるようにシステムの改良を行い、システムの操作性や簡便性の向上をはかった。
|
| Strategy for Future Research Activity |
今後は処理の高速化と高機能化をはかる。要素技術(1)臍と体側シルエットラインを用いたカメラ位置・姿勢の自動検出と、(4)プロジェクタ位置・投影方向を仮想視点とした画像作成において、CTデータのボリュームレンダリングはシステムの高速化の鍵を握る重要な部分である。そのため、ボリュームレンダリング手法をさらに改良することにより高速に人体内部構造を含むボリュー ムデータからの画像生成を行い、システムの更なる高速化をはかる。そして、プロジェクタによる体表面への映像投影だけでなく、映像表示デバイスとしてシースルー型HMDを導入して人体を観察しながら内部構造情報を重畳して表示することのできるARシステムへ拡張を行う。
|
| Causes of Carryover |
構築したプロジェクションマッピングシステムは独自開発したソフトウェアや現有機器を一部使用し，検証実験のための装置も現有機器を利用したため次年度使用額が生じた。次年度使用額についてはARシステム構築のための経費や研究成果を国内外の会議において発表するための旅費等に充てる。
|
