2018 Fiscal Year Research-status Report
A Human Body Projection Mapping System for Medical Applications
| Project/Area Number |
18K11397
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
金田 和文 広島大学, 工学研究科, 教授 (30185946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
檜垣 徹 広島大学, 医歯薬保健学研究科(医), 共同研究講座准教授 (80611334)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | コンピュータグラフィックス / プロジェクションマッピング / 医療応用 / ボリュームレンダリング / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
外科手術支援のために、CT等によって得られた人体内部構造情報を体表面へプロジェックションマッピングするシステムの開発を行う。すなわち、プロジェクタの設置位置・姿勢をマーカーレスで自動検出し、投影方向の制約を受けずに、血管位置などの人体内部構造情報を体表面へプロジェクションマッピングするシステムの開発を行う。
医療応用のための体表面へのプロジェクションマッピングシステムを開発するために、次の要素技術を完成させ、 それらをコンピュータに組み込んでプロトタイプシステムの構築を行った。(1) 臍と体側シルエットラインを用いたカメラ位置・姿勢の自動検出：しきい値処理やエッジ検出フィルタなどの画像処理を用いてカメラ画像から臍と体側シルエットラインを検出し、人体ボリュームデータのレンダリングと比較することによりカメラ位置・姿勢を推定する。(2) カメラ位置・姿勢からプロジェクタ位置・投影方向への変換：プロジェクタとカメラの両者間の位置・姿勢を、ステレオビジョンの原理を応用することによって算出し、位置・投影方向への変換を行う。(3) 人体ボリュームデータの血管3次元位置の体表面への移動：プロジェクタの設置位置や投影方向に関わらず、体表面に投影され た血管位置が人体真上から体表面に投影したときと同じ位置に表示されるようにするため、人体ボリュームデータから抽出された血管等の3次元データを自動的に体表面に移動する。(4) プロジェクタ位置・投影方向を仮想視点とした画像作成：プロジェクタの位置・投影方向に基づいて、血管等のボリュームデータを高速にボリュームレンダリングすることにより投影画像を生成する手法を開発する。
そして、3Dプリンタで出力された人体腹部モデルを用いて構築したプロトタイプシステムの動作検証を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画の通り、各要素技術の開発を行い、Wi-Fi接続小型カメラとLEDポータブルプロジェクタを用いて、それらをラップトップ型コンピュータに組み込んでプロトタイプシステムを構築した。そして、3Dプリンタで出力された1/2スケールの人体腹部モデルを用いてシステムの動作確認とプロジェクタの位置・投影方向の推定精度の検証を行った。また、投影方向を変えた場合でも、体表面に投影された血管位置が変化しないことを目視で確認し、開発した各要素技術と構築したシステムが計画通り動作していることを確かめた。
|
| Strategy for Future Research Activity |
今後は各要素技術における処理の高速化をはかる。特に、臍と体側シルエットラインを用いたカメラ位置・姿勢の自動検出とプロジェクタ位置・投影方向を仮想視点としたボリュームレンダリングによる画像作成は、プロジェクタ位置を変更する度にこれらの処理を行う必要がある。そのため、高速に最適解を求めることができる手法を導入してカメラ位置・姿勢の自動検出の高速化をはかり、ボリュームレンダリング手法を改良することにより高速に人体内部構造を含むボリュームデータからの画像生成を行い、一連の処理の高速化をはかる。そして、表示デバイスとして シースルーHMDを導入することにより人体を観察しながら内部構造情報を重畳して表示することのできるARシステムへの拡張を試みる。
|
| Causes of Carryover |
今年度構築したプロトタイプシステムは現有機器を一部使用したため次年度使用額が生じた。次年度使用額については研究成果を国際会議において発表するための旅費等ならびに高性能シースルーHMDを導入する経費に充てる。
|
Research Products
(1 results)
