2019 Fiscal Year Research-status Report
スマートフォンを用いた拡張現実感による仮想透視システムの開発と画像下治療での活用
| Project/Area Number |
18K07648
|
|---|
| Research Institution | Tokyo Women's Medical University |
|---|
Principal Investigator |
森田 賢 東京女子医科大学, 医学部, 講師 (80366343)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
正宗 賢 東京女子医科大学, 医学部, 教授 (00280933)
遠藤 健二 東京女子医科大学, 医学部, 医療練士研修生 (20792782)
鈴木 一史 東京女子医科大学, 医学部, 准講師 (70366342)
坂井 修二 東京女子医科大学, 医学部, 教授 (90225756)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 拡張現実感 / Augmented Reality / AR / Mixed Reality / 仮想透視 / 画像下治療 / Interventional Radiology |
|---|
| Outline of Annual Research Achievements |
本研究では、事前に撮影されたCT画像をポータブル端末に取り込み、カメラで映した患者体表に重ねて表示することで、臓器や病変を拡張現実感（Augmented Reality：AR）としてポータブル端末上に表示する仮想透視システムの開発を目指している。先ず、Microsoft社製Windows版のタブレットPCを用いて、三点マーカーによる位置レジストレーション法を用いた仮想透視システムを考案したが、これをスマートフォンに移植するには、オペレーションシステムが異なるため、開発費の大幅な増加が予想された。よって、先ずはオペレーションシステムが同じWindowsであり、ある程度の仮想透視システムが事前に組み込まれているヘッドマウント型のウエアラブルデバイスであるWindows HoloLensを利用する事とした。HoloLensを用いることで、ハンズフリーかつ三次元的なAR重畳表示が可能となり、患者体表とCT画像から作成したARナビゲーションの同時視認が可能となった。仮想透視をする上で重要となる位置レジストレーションの手法に関し、従来の三点マーカーの手法を応用して、1点のみのマーカーを用いたシステムを考案して開発した。HoloLens装着者の視点位置の違いによる位置の乖離に関しては、ARガイドラインを表示させる事で解決した。マーカーがカメラ画像範囲外の場合にAR表示されない問題に関しては、空間マッピングを用いたAR残留重畳表示を用いることで解決した。本手法をiPhoneやiPadに移植する事にも成功しており、今後はその精度評価や臨床的な利用法を模索している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、Microsoft社製Windows版のタブレットPCを用いて、三点マーカーによる位置レジストレーション法による拡張現実感（Augmented Reality：AR）を用いた仮想透視システムを考案した。しかし、これをスマートフォンに移植するにはスマートフォンのオペレーションシステムであるiOSやAndroidにプログラムを書き直す必要があり、開発費が予想以上に必要な事が判明した。よって、オペレーションシステムが同じWindowsであり、ある程度の仮想透視システムが事前に組み込まれているウエアラブルデバイスであるWindows HoloLensを用いて開発する方針に変更した。HoloLensを用いることで、ハンズフリーかつ三次元的なAR重畳表示が可能となり、患者体表とCT画像から作成したARナビゲーションの同時視認が可能となった。しかし、HoloLens装着者の視点位置の違いにより、ARと背景となる現実世界との間にずれが生じるという問題点が存在した。我々は二次元マーカーの周囲にガイドラインをAR表示することにより解決を試みた。さらに、マーカー検出による位置合わせ法には、マーカーがカメラ画像範囲外にあるとAR重畳表示が行えないという問題があったが、空間マッピングを用いたAR残留重畳表示を行うことでこの問題の解決を試みた。先ず、二次元的な精度評価実験により、ガイドラインを用いた場合の二次元な誤差を1.5mm程度まで減少させる事に成功した。さらに、穿刺用の自作ファントムを用い、放射線科医による穿刺実験を実施し、上記手法での距離の誤差は5-7mm程度と許容範囲内であることを確認した。なお、本手法はiPhoneに移植する事が可能で、iPhoneやiPad等で動作させることにも成功しており、今後はその精度評価や臨床的な利用法を模索している。
|
| Strategy for Future Research Activity |
Windows HoloLensを用いて、1点マーカーによる位置レジストレーション法、マーカーのARガイドライン表示、空間マッピング等を組み合わせる事で、精度の高いAR表示が可能となった。本手法を臨床現場で応用するため、先ず、穿刺手技のトレーニングに役に立つかを検討する予定である。また、HoloLensは視野角が狭いという問題があり、我々の開発した位置レジストレーション法で、ある程度の改善は得られたが、臨床で用いるにはまだ十分とは言えない。最近販売開始となったHoloLens 2では、視野角が2倍以上に増加し、解像度、ピクセル密度も2倍以上になるとの事である。よって、今後はこれを用いてより広視野角で高速かつ正確な位置レジストレーションする手法を開発する予定である。さらに、本手法をiPhoneやiPad等に移植する事にも成功しており、今後はその精度評価や臨床的な利用法を模索している。
|
| Causes of Carryover |
HoloLensは視野角が狭いという問題があり、臨床で用いるにはまだ十分とは言えない。最近販売開始となったHoloLens 2では、視野角が2倍以上に増加し、解像度、ピクセル密度も2倍以上になるとの事である。よって、今後はこれを用いてより広視野角で高速かつ正確な位置レジストレーションする手法を開発する予定であり、購入予定である。また、本手法をiPhoneやiPad等に移植する事にも成功しており、今後はその精度評価や臨床的な利用法を模索しているが、新型のiPhoneではHoloLedsと同様の精度が見込まれており、販売後に購入予定である。これらに加え、研究成果を複数の学会で発表予定であり、そのための旅費が必要である。
|
