2021 Fiscal Year Annual Research Report
Augmented reality navigation systems on smartphones for interventional radiology
| Project/Area Number |
18K07648
|
|---|
| Research Institution | Tokyo Women's Medical University |
|---|
Principal Investigator |
森田 賢 東京女子医科大学, 医学部, 講師 (80366343)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
正宗 賢 東京女子医科大学, 医学部, 教授 (00280933)
遠藤 健二 東京女子医科大学, 医学部, 助教 (20792782)
鈴木 一史 東京女子医科大学, 医学部, 講師 (70366342)
坂井 修二 東京女子医科大学, 医学部, 教授 (90225756)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 拡張現実 / Augmented Reality / AR / Mixed Reality / MR / IVR / Investigative Radiology |
|---|
| Outline of Annual Research Achievements |
本研究では、事前に撮影されたCT画像をポータブル端末に取り込み、患者体表に重ねて表示することで、臓器や病変を拡張現実感（Augmented Reality：AR）として表示する仮想透視システムの開発を行った。先ず、ヘッドマウント型のウエアラブルデバイスであるMicrosoft社製HoloLensを用いて開発を進めた。HoloLensを用いることで、ハンズフリーかつ三次元的なAR重畳表示が可能となり、患者体表とARの同時視認が可能となった。位置合わせの手法に関しては、従来の三点マーカーの手法を応用して、一点のみのマーカーを用いたシステムを作成した。さらに、三次元画像や予め作成した仮想分度器を、空間の特徴点のタップやCT画像の座標入力でも配置できる様にした。HoloLens装着者の視点位置の違いによる位置の乖離に関しては、ARガイドラインを表示させる事で解決した。マーカーがカメラ画像範囲外の場合にAR表示されない問題に関しては、空間マッピングを用いたAR残留重畳表示を用いることで解決した。さらに、HoloLens2への移植にも成功し、視野の拡大や視線調整の機能により、位置合わせ精度と実用性が向上した。ファントムを用いた穿刺実験にて、穿刺の誤差は5-6mm程度と良好な結果を得た。さらに、本手法をスマートフォン（iOSとAndroid）にも移植し、改良を重ねてスマートフォン用の穿刺ガイドアプリを作成した。仮想分度器の配置は、画面のタッチや二次元マーカーを認識させることで実現した。また、特定の穿刺針を認識させることで、リアルタイムに三次元的な角度表示も可能とした。これらの成果を複数の学会発表（2つの受賞含む）や雑誌、英語論文に掲載した。
|
