Development of hybrid virtual medical OJT technology by combining mixed reality technology and medical 3D modeling technology

• Project/Area Number: 23K20724
• Project/Area Number (Other): 21H00894 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Hirosaki University
• Principal Investigator: 野坂 大喜 弘前大学, 保健学研究科, 講師 (80302040)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000); Fiscal Year 2024: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2023: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2021: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
• Keywords: 複合現実 / 仮想現実 / 人工知能 / 現任教育 / 医学教育 / シミュレーション / OJT

Outline of Research at the Start

複合現実(MR)技術は保健学系学生の仮想化医療OJT技術として有用視されているものの,視覚に限定されており,採血など触覚を伴った仮想化医療OJT技術の確立には至っていない。本研究では,MR技術と3D造形技術の融合により視覚と触覚を統合した仮想化医療OJT技術と,個々の患者症例データを基に教育用のMR化を行う仮想化医療OJT教材作成技術の研究を行い,MR技術と3D造形技術を高度に融合させたハイブリッド式の仮想化医療OJT基盤技術と本技術を用いた新たな次世代医学教育手法を確立する。

Outline of Annual Research Achievements

【研究概要】複合現実(MR)はVRとARの融合技術であり,操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境の構築を可能とする。MR技術は保健学系学生の仮想化医療OJT技術として有用視されているものの、視覚に限定されており、採血など触覚を伴った仮想化医療OJT技術の確立には至っていない。本研究では、MR技術と3D造形技術を高度に融合させたハイブリッド式の仮想化医療OJT基盤技術と本技術を用いた新たな次世代医学教育手法を確立することを目的とし、MR技術と3D造形技術の融合による視覚と触覚を統合した仮想化医療OJT技術と、個々の患者症例データを基に教育用のMR化を行う仮想化医療OJT教材作成技術の研究を行った。
【研究実績】『MR技術と3D造形技術の融合による視覚・触覚統合ハイブリッド式仮想化医療OJT技術の研究』と『ハイブリッド式仮想化医療OJTシステムに対応したMR用医療OJT教材開発技術の研究』を実施した。『MR技術と3D造形技術の融合による視覚・触覚統合ハイブリッド式仮想化医療OJT技術の研究』では、ヒト前腕部高精度3Dスキャンにより3Dデータを収集し、軟式フィラメントを用いて3D造形によるリアルシミュレーションモデルを作成した。また3Dスキャンにより医療器具についての3Dデータを収集した。これら3Dデータを基にMR用投影データを作成した。MRデバイスとしてMicrosoft社HoloLensを使用した仮想化医療OJTの試作システムを開発した。一方、『ハイブリッド式仮想化医療OJTシステムに対応したMR用医療OJT教材開発技術の研究』ではMR用医療OJT教材の開発においては医療器具・医療機器の3Dデータは非公開であることから、輸液ポンプなどの機器についての3Dスキャンを行い、MR用3Dデータのデータベース化を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

3Dスキャンデータの収集と加工に時間を要したため、仮想化医療OJTの試作システム開発に遅延を生じた。2022年度内において3Dスキャンデータの収集と平行して仮想化医療OJTとフィジカル医療OJTの連携によるアクティブラーニングプログラムの研究を実施したことで、当初予定を取り戻しつつある状況である。初期段階の試作システム検証を実施した結果、システムの運用において概ね当初予定していた通りの動作環境が得られることが確認されたことから、若干の遅れを生じてはいるものの、研究成果技術の当初目標レベルは達成していると考えられる。

Strategy for Future Research Activity

本研究においては、2022年度において上記システムと3Dデータ教材を用いた仮想化医療OJTとフィジカル医療OJTの連携によるアクティブラーニングプログラムの研究を行うこととしている。実証試験において試作システムの不具合が発見された場合は随時修正を加えるほか、本研究提案当初は提供されていなかったMRシステム開発ツールがメーカーより提供されたことから、新たな開発ツールを使用することで、問題解決を図る予定である。また、初期動作検証において検証後の試用アンケートでOJTのみならず作業支援を行うアプリケーションとしても有効である可能性が示唆されたことから、複数の利用モデルについて検討を加える予定である。

Research Products

• [Journal Article] The Effectiveness of Data Augmentation for Mature White Blood Cell Image Classification in Deep Learning — Selection of an Optimal Technique for Hematological Morphology Recognition — (2023)
  • Author(s): H Nozaka, K Kamata, K Yamagata
  • Journal Title: IEICE Transactions on Information and Systems Volume: E106.D Issue: 5 Pages: 707-714
  • DOI: 10.1587/transinf.2022DLP0066
  • ISSN: 0916-8532, 1745-1361
  • Year and Date: 2023-05-01
  • Peer Reviewed / Open Access
• [Presentation] Approach to the detection of reactive lymphocytes using multi-stage AI models (2022)
  • Author(s): H Nozaka, S Kaga, N Sakaiya, S Kimura, M Nakano, M Fujioka, M Kushibiki, S Ogasawara, M Ishiyama, K Kamata, K Yamagata
  • Organizer: 12th Biennial Conference of the Asia Pacific Association for Medical Informatics (APAMI2022)
  • Int'l Joint Research
• [Presentation] Approach to automated classification of nucleated blood cells in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Hirano, S Souma, A Kobayashi, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
  • Int'l Joint Research
• [Presentation] Approach to automated recognition of blast cells in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Kimura, S Kaga, N Sakaiya, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
  • Int'l Joint Research
• [Presentation] Approach to automated detection of atypical lymphocytes in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Kaga, N Sakaiya, S Kimura, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th International Society for Laboratory Hematology (ISLH2022)
  • Int'l Joint Research
• [Presentation] Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Kimura, S Kaga, N Sakaiya, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th International Society for Laboratory Hematology (ISLH2022)
  • Int'l Joint Research
• [Presentation] 深層学習法を用いた異型リンパ球検出AI モデルの開発と評価 (2022)
  • Author(s): 野坂 大喜, 藤岡 美幸, 小笠原 脩, 櫛引 美穂子
  • Organizer: 第71回日本医学検査学会
• [Presentation] 人工知能(AI)を用いた顆粒球系幼若細胞検出・分類技術の開発と評価 (2022)
  • Author(s): 野坂 大喜, 小笠原 脩, 櫛引 美穂子, 鎌田 耕輔, 山形 和史
  • Organizer: 第10回北日本支部日本医学検査学会
• [Presentation] AI technologies and potentials in clinical laboratory post pandemic - Development of next generation technology for hematology and trial of AI education program - (2022)
  • Author(s): H Nozaka
  • Organizer: 13th Asia-Pacific Forum of Medical Laboratory Sciences (APFMLS)
  • Int'l Joint Research / Invited