2021 Fiscal Year Annual Research Report
Development of hybrid virtual medical OJT technology by combining mixed reality technology and medical 3D modeling technology
| Project/Area Number |
21H00894
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hirosaki University |
|---|
Principal Investigator |
野坂 大喜 弘前大学, 保健学研究科, 講師 (80302040)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 仮想現実 / 複合現実 / OJT / 医学教育 / シミュレーション |
|---|
| Outline of Annual Research Achievements |
【研究概要】複合現実(MR)はVRとARの融合技術であり,操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境の構築を可能とする。MR技術は保健学系学生の仮想化医療OJT技術として有用視されているものの、視覚に限定されており、採血など触覚を伴った仮想化医療OJT技術の確立には至っていない。本研究では、MR技術と3D造形技術を高度に融合させたハイブリッド式の仮想化医療OJT基盤技術と本技術を用いた新たな次世代医学教育手法を確立することを目的とし、MR技術と3D造形技術の融合による視覚と触覚を統合した仮想化医療OJT技術と、個々の患者症例データを基に教育用のMR化を行う仮想化医療OJT教材作成技術の研究を行った。
【研究実績】『MR技術と3D造形技術の融合による視覚・触覚統合ハイブリッド式仮想化医療OJT技術の研究』と『ハイブリッド式仮想化医療OJTシステムに対応したMR用医療OJT教材開発技術の研究』を実施した。『MR技術と3D造形技術の融合による視覚・触覚統合ハイブリッド式仮想化医療OJT技術の研究』では、ヒト前腕部高精度3Dスキャンにより3Dデータを収集し、軟式フィラメントを用いて3D造形によるリアルシミュレーションモデルを作成した。また3Dスキャンにより医療器具についての3Dデータを収集した。これら3Dデータを基にMR用投影データを作成した。MRデバイスとしてMicrosoft社HoloLensを使用した仮想化医療OJTの試作システムを開発した。一方、『ハイブリッド式仮想化医療OJTシステムに対応したMR用医療OJT教材開発技術の研究』ではMR用医療OJT教材の開発においては医療器具・医療機器の3Dデータは非公開であることから、輸液ポンプなどの機器についての3Dスキャンを行い、MR用3Dデータのデータベース化を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
3Dスキャンデータの収集と加工に時間を要したため、仮想化医療OJTの試作システム開発に遅延を生じた。2022年度内において3Dスキャンデータの収集と平行して仮想化医療OJTとフィジカル医療OJTの連携によるアクティブラーニングプログラムの研究を実施したことで、当初予定を取り戻しつつある状況である。初期段階の試作システム検証を実施した結果、システムの運用において概ね当初予定していた通りの動作環境が得られることが確認されたことから、若干の遅れを生じてはいるものの、研究成果技術の当初目標レベルは達成していると考えられる。
|
| Strategy for Future Research Activity |
本研究においては、2022年度において上記システムと3Dデータ教材を用いた仮想化医療OJTとフィジカル医療OJTの連携によるアクティブラーニングプログラムの研究を行うこととしている。実証試験において試作システムの不具合が発見された場合は随時修正を加えるほか、本研究提案当初は提供されていなかったMRシステム開発ツールがメーカーより提供されたことから、新たな開発ツールを使用することで、問題解決を図る予定である。また、初期動作検証において検証後の試用アンケートでOJTのみならず作業支援を行うアプリケーションとしても有効である可能性が示唆されたことから、複数の利用モデルについて検討を加える予定である。
|
-
-
[Presentation] Approach to the detection of reactive lymphocytes using multi-stage AI models2022
Author(s)
H Nozaka, S Kaga, N Sakaiya, S Kimura, M Nakano, M Fujioka, M Kushibiki, S Ogasawara, M Ishiyama, K Kamata, K Yamagata
Organizer
12th Biennial Conference of the Asia Pacific Association for Medical Informatics (APAMI2022)
Int'l Joint Research
-
[Presentation] Approach to automated classification of nucleated blood cells in peripheral blood smear screening2022
Author(s)
H Nozaka, S Hirano, S Souma, A Kobayashi, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
Organizer
35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
Int'l Joint Research
-
[Presentation] Approach to automated recognition of blast cells in peripheral blood smear screening2022
Author(s)
H Nozaka, S Kimura, S Kaga, N Sakaiya, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
Organizer
35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
Int'l Joint Research
-
[Presentation] Approach to automated detection of atypical lymphocytes in peripheral blood smear screening2022
Author(s)
H Nozaka, S Kaga, N Sakaiya, S Kimura, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
Organizer
35th International Society for Laboratory Hematology (ISLH2022)
Int'l Joint Research
-
[Presentation] Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening2022
Author(s)
H Nozaka, S Kimura, S Kaga, N Sakaiya, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
Organizer
35th International Society for Laboratory Hematology (ISLH2022)
Int'l Joint Research
-
-
-
