• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of hybrid virtual medical OJT technology by combining mixed reality technology and medical 3D modeling technology

Research Project

Project/Area Number 23K20724
Project/Area Number (Other) 21H00894 (2021-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2021-2023)
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionHirosaki University

Principal Investigator

野坂 大喜  弘前大学, 保健学研究科, 講師 (80302040)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000)
Fiscal Year 2024: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2023: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2021: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Keywords複合現実 / 仮想現実 / 人工知能 / 現任教育 / 医学教育 / シミュレーション / OJT
Outline of Research at the Start

複合現実(MR)技術は保健学系学生の仮想化医療OJT技術として有用視されているものの,視覚に限定されており,採血など触覚を伴った仮想化医療OJT技術の確立には至っていない。本研究では,MR技術と3D造形技術の融合により視覚と触覚を統合した仮想化医療OJT技術と,個々の患者症例データを基に教育用のMR化を行う仮想化医療OJT教材作成技術の研究を行い,MR技術と3D造形技術を高度に融合させたハイブリッド式の仮想化医療OJT基盤技術と本技術を用いた新たな次世代医学教育手法を確立する。

Outline of Annual Research Achievements

複合現実(MR)はVRとARの融合技術であり,操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境の構築を可能とする。MR技術は保健学系学生の仮想化医療OJT技術として有用視されているものの、視覚に限定されており、採血など触覚を伴った仮想化医療OJT技術の確立には至っていない。本研究では、MR技術と3D造形技術を高度に融合させたハイブリッド式の仮想化医療OJT基盤技術と本技術を用いた新たな次世代医学教育手法を確立することを目的とし、MR技術と3D造形技術の融合による視覚と触覚を統合した仮想化医療OJT技術と、個々の患者症例データを基に教育用のMR化を行う仮想化医療OJT教材作成技術の研究を行った。
本事業年度においては、前年度に研究したハイブリッド式仮想化医療OJTシステムと本システム用の仮想医療学習教材を使用し、仮想化医療OJTとフィジカル医療OJTの連携によるアクティブラーニングプログラムの研究を実施した。学習方法の比較検討を行うため、従前より行われている動画学習後のフィジカル医療OJTを対照として、動画学習・MR技術を用いた仮想OJT・フィジカル医療OJTを実施した。使用者のPDCAを実施すべく、両OJT実施者に対して実技動作を撮影し、フィジカル医療OJT後に医療行為動作の自己評価と、指導者側からの評価を実施した。その結果、仮想化医療OJT受講者の自己評価結果は有意に高く、本法の有効性が示された。特に仮想OJT受講者は仮想OJT時に自己の医療行為動作についてMRゴーグルを介して比較しながら動作したことで、適切な動作をトレーニングしたことがアンケートにより明らかとなった。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2021から2022年度研究において3Dスキャンデータの収集と加工に時間を要したため、仮想化医療OJTの試作システム開発に遅延を生じた。3Dスキャンデータの収集と平行して仮想化医療OJTとフィジカル医療OJTの連携によるアクティブラーニングプログラムの研究を実施し、本プログラムの有効性について初期評価に至ったことで、OJTシステムとしての技術的改良点は見受けられるものの当初予定技術レベルには到達しているほか、OJTプログラムとしての有効性評価についても当初計画を達成した。しかし、本OJTトレーニング技術開発においてはトレーニング者が自己評価のみならず客観的な指標に基づいてPDCAを実施すべく、仮想化医療OJTにおける臨床スキルスコア評価技術の研究を行うこととしているが、指導者によるスコア化までは至っているものの、自己評価結果と指導者スコア結果に乖離を認めている。これは指導者視点とトレーニング者の評価視点が異なることが一因として考えられ、アクティブトレーニングの評価視点についての検討が別途必要となっている。
以上のことから、現在までの進捗状況はやや遅れが生じているものと考える。

Strategy for Future Research Activity

本研究においては、2023年度と2024年度の2カ年で仮想化医療OJTにおける臨床スキルスコア評価技術の研究と仮想化医療OJTシステムの実践的検証と改良を行うこととしている。仮想化医療OJTにおける臨床スキルスコア評価技術の研究においては、指導者によるスコア評価化までは至っているものの、トレーニング者の自己評価結果と指導者スコア結果に乖離を認めており、これは指導者視点とトレーニング者の評価視点が異なることが一因として考えられる。そのためスコア化においては、自己評価と指導者とが同一の視点から評価を行うための、動画採点システムについて追加検討を実施する。また、仮想化医療OJTシステムの実践的検証と改良においては客観的臨床能力試験への応用化を目指しており、医療系学生を対象として客観的臨床能力試験前に、同試験内容を反映させた仮想化医療OJTシステムを用いた実践的検証を行い、評価者の採点結果と臨床スキルスコア評価結果の相関を明らかにし、仮想化OJT技術の有用性とスコア評価技術の精度を検討する。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (14 results)

All 2024 2023 2022

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (11 results) (of which Int'l Joint Research: 9 results,  Invited: 2 results)

  • [Journal Article] Approach to recognition of immature granulocytes using deep learning in peripheral blood smear screening: The potential of AI models using a convolution neural network for blood cell morphology classification2024

    • Author(s)
      野坂 大喜、櫛引 美穂子、鎌田 耕輔、山形 和史
    • Journal Title

      Japanese Journal of Medical Technology

      Volume: 73 Issue: 1 Pages: 69-77

    • DOI

      10.14932/jamt.23-72

    • ISSN
      0915-8669, 2188-5346
    • Year and Date
      2024-01-25
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Effectiveness of Data Augmentation for Mature White Blood Cell Image Classification in Deep Learning — Selection of an Optimal Technique for Hematological Morphology Recognition —2023

    • Author(s)
      H Nozaka, K Kamata, K Yamagata
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 5 Pages: 707-714

    • DOI

      10.1587/transinf.2022DLP0066

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-05-01
    • Related Report
      2022 Annual Research Report 2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Classifying Microscopic Images of Reactive Lymphocytosis Using Two-Step Tandem AI Models2023

    • Author(s)
      Nozaka Hiroyuki、Kushibiki Mihoko、Kamata Kosuke、Yamagata Kazufumi
    • Journal Title

      Applied Sciences

      Volume: 13 Issue: 9 Pages: 5296-5296

    • DOI

      10.3390/app13095296

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Progress of AI technologies for laboratory hematology and its potential in the biomedical laboratory - New role of Biomedical Scientists in the AI field -.2023

    • Author(s)
      H Nozaka.
    • Organizer
      The 61st Congress of KAMT & International Conference 2023.
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Approach to detection of atypical lymphocytes with deep learning in peripheral blood smear screening2023

    • Author(s)
      H Nozaka, S Souma, S Hirano, M Nakano, M Fujioka, M Kushibiki, S Ogasawara, M Ishiyama, K Kamata, K Yamagata.
    • Organizer
      The 36th International Society for Laboratory Hematology (ISLH2023).
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Approach to detection of abnormal lymphocyte with deep learning in peripheral blood smear screening2023

    • Author(s)
      H Nozaka, S Souma, S Hirano, M Nakano, M Fujioka, M Kushibiki, S Ogasawara, M Ishiyama, K Kamata, K Yamagata.
    • Organizer
      The 36th International Society for Laboratory Hematology (ISLH2023).
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Approach to the detection of reactive lymphocytes using multi-stage AI models2022

    • Author(s)
      H Nozaka, S Kaga, N Sakaiya, S Kimura, M Nakano, M Fujioka, M Kushibiki, S Ogasawara, M Ishiyama, K Kamata, K Yamagata
    • Organizer
      12th Biennial Conference of the Asia Pacific Association for Medical Informatics (APAMI2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Approach to automated classification of nucleated blood cells in peripheral blood smear screening2022

    • Author(s)
      H Nozaka, S Hirano, S Souma, A Kobayashi, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
    • Organizer
      35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Approach to automated recognition of blast cells in peripheral blood smear screening2022

    • Author(s)
      H Nozaka, S Kimura, S Kaga, N Sakaiya, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
    • Organizer
      35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Approach to automated detection of atypical lymphocytes in peripheral blood smear screening2022

    • Author(s)
      H Nozaka, S Kaga, N Sakaiya, S Kimura, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
    • Organizer
      35th International Society for Laboratory Hematology (ISLH2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening2022

    • Author(s)
      H Nozaka, S Kimura, S Kaga, N Sakaiya, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
    • Organizer
      35th International Society for Laboratory Hematology (ISLH2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層学習法を用いた異型リンパ球検出AI モデルの開発と評価2022

    • Author(s)
      野坂 大喜, 藤岡 美幸, 小笠原 脩, 櫛引 美穂子
    • Organizer
      第71回日本医学検査学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 人工知能(AI)を用いた顆粒球系幼若細胞検出・分類技術の開発と評価2022

    • Author(s)
      野坂 大喜, 小笠原 脩, 櫛引 美穂子, 鎌田 耕輔, 山形 和史
    • Organizer
      第10回北日本支部日本医学検査学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] AI technologies and potentials in clinical laboratory post pandemic - Development of next generation technology for hematology and trial of AI education program -2022

    • Author(s)
      H Nozaka
    • Organizer
      13th Asia-Pacific Forum of Medical Laboratory Sciences (APFMLS)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi