2020 Fiscal Year Research-status Report
スマートフォンを用いた拡張現実感による仮想透視システムの開発と画像下治療での活用
| Project/Area Number |
18K07648
|
|---|
| Research Institution | Tokyo Women's Medical University |
|---|
Principal Investigator |
森田 賢 東京女子医科大学, 医学部, 講師 (80366343)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
正宗 賢 東京女子医科大学, 医学部, 教授 (00280933)
遠藤 健二 東京女子医科大学, 医学部, 助教 (20792782)
鈴木 一史 東京女子医科大学, 医学部, 講師 (70366342)
坂井 修二 東京女子医科大学, 医学部, 教授 (90225756)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 拡張現実感 / Augmented Reality / AR / Mixed Reality / Interventional Radiology / 仮想透視 / 画像下治療 |
|---|
| Outline of Annual Research Achievements |
本研究では、事前に撮影されたCT画像をポータブル端末に取り込み、患者体表に重ねて表示することで、臓器や病変を拡張現実感（Augmented Reality：AR）として表示する仮想透視システムの開発を行った。先ず、ヘッドマウント型のウエアラブルデバイスであるMicrosoft社製HoloLensを用いて開発を進めた。HoloLensを用いることで、ハンズフリーかつ三次元的なAR重畳表示が可能となり、患者体表とARの同時視認が可能となった。位置合わせの手法に関しては、従来の三点マーカーの手法を応用して、一点のみのマーカーを用いたシステムを作成した。HoloLens装着者の視点位置の違いによる位置の乖離に関しては、ARガイドラインを表示させる事で解決した。マーカーがカメラ画像範囲外の場合にAR表示されない問題に関しては、空間マッピングを用いたAR残留重畳表示を用いることで解決した。ファントムを用いた穿刺実験にて、穿刺方向の誤差は5-6mm程度と良好な結果が得られ、2020年度の日本IVR学会総会にて成果を報告した。なお、2019年に発売されたHoloLens2への移植にも成功し、視野の拡大や視線調整の機能により、位置合わせの精度の向上が得られ、2020年度の北米放射線学会（RSNA）にて発表した。さらに、本手法をiPhoneやiPadに移植することにも成功し、スマートフォン上でのAR表示も可能とした。一例として、本手法を中心静脈カテーテル穿刺時のトレーニングに用いることで、血管の全体像を客観的に把握することが可能となり、受講者の理解度や修練度が向上することを示た。同成果を2020年度の日本VR学会にて発表し、International Journal of Computer Assisted Radiology and Surgery（In press）に論文発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
・当初はMicrosoft社製Windows版のタブレットPCを用いて、三点マーカーによる位置レジストレーション法を用いた仮想透視システムを考案したが、同タブレットPCが販売されなくなったことと、新たに同社からヘッドマウント型のウエアラブルデバイスであるHoloLensが発売されたため、これを用いて開発を進めた。
・Microsoft社製HoloLensでCT画像をAR重畳表示させ、1点マーカーによる位置合わせする手法の開発に成功した。ファントムを用いた穿刺実験にてその精度を確認した。HoloLens2への移植にも成功し、ファントムを用いた穿刺実験で精度の向上も確認した。これらの成果を国内学会、国際学会にて発表した。
・Apple社製iPhoneへの移植にも成功し、中心静脈用カテーテル穿刺時のトレーニングに有用であることを確認し、国内学会、国際学会、国際学術雑誌にて報告した。作成したiPhone用アプリは研究の成果としてApp Storeで公開し、臨床目的ではなく研究目的として他施設でも使用可能とした。
|
| Strategy for Future Research Activity |
・Microsoft社製HoloLensでCT画像をAR重畳表示させ、1点マーカーを用いた位置合わせ法の開発には成功したが、事前に画像の再構成や取り込みが必要なため、準備に時間や手間がかかるという問題が発覚した。今後は、事前にこれらの処理を必要としない手法の開発を目指している。具体的には、CTの空間座標とAR座標を手動的もしくは自動的に一致させることで、空間座標を利用して標的や針を表示させるシステムを開発中である。
・Apple社製iPhoneへの移植にも成功したが、さらに本手法を応用して穿刺針のラベル等の特徴点や貼付したマーカーを認識させることで、針の角度や深さをAR表示させるシステムを開発中である。
・これらの精度を先ずファントム実験にて検証し、臨床上での有用性についても確認する予定である。得られた成果は国内学会や国際学会、学術論文等で発表予定である。
|
| Causes of Carryover |
論文作成中であり、英文校正のための予算を次年度に持ち越した。
|
-
-
-
[Presentation] Feasibility and accuracy of needle puncture under augmented reality displayed on a head mount display with position automatically adjusted by a 2D marker in a phantom study.2020
Author(s)
Morita S, Suzuki k, Endo K, Yamamoto T, Sakai S, Fujii S, Morishita T, Maruyama R, Ohya J, Masamune K.
Organizer
106th scientific Assembly Annual Meeting Radiological Society of North America 2020. Nov 29-Dec 5, 2020, Chicago, USA.
Int'l Joint Research
-
[Presentation] Efficiency of using augmented reality technology in training of central venous access2020
Author(s)
Kazufumi Suzuki, Kenji Endo, Satoru Morita, Takahiro Yamamoto, Shuji Sakai, Shuhei Fujii, Takeshi Morishita, Ryuhei Maruyama, Jun Ohya, Ken Masamune.
Organizer
106th scientific Assembly Annual Meeting Radiological Society of North America 2020. Nov 29-Dec 5, 2020, Chicago, USA.
Int'l Joint Research
-
[Presentation] How to build AR/MR phantom for IVR using medical images2020
Author(s)
Kenji Endo, Kazufumi Suzuki, Satoru Morita, Takahiro Yamamoto, Shuji Sakai, Shuhei Fujii, Takeshi Morishita, Ryuhei Maruyama, Jun Ohya, Ken Masamune
Organizer
106th scientific Assembly Annual Meeting Radiological Society of North America 2020. Nov 29-Dec 5, 2020, Chicago, USA.
Int'l Joint Research
-
-
