The development of non-technical skills EBT technology for medical students by integrating AI and VR technology.

• Project/Area Number: 22K18573
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 9:Education and related fields
• Research Institution: Hirosaki University
• Principal Investigator: 野坂 大喜 弘前大学, 保健学研究科, 講師 (80302040)
• Project Period (FY): 2022-06-30 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000); Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: 人工知能 / 仮想現実 / ノンテクニカルスキル / 医学教育 / シミュレーション / バーチャルリアリティ

Outline of Research at the Start

ノンテクニカルスキルは医療安全の観点から必須の医療者共通スキルとされる。操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境構築を可能とするVRは医療テクニカル教育技術として有用視されている。ノンテクニカルスキル教育もまた医療環境をシミュレートした仮想トレーニング化が必要となるものの,教育手法は対面式に限定され,客観的根拠に基づく訓練(EBT)に基づくスキル評価法も確立していない。本研究はAIとVR技術の融合による医療系学生ノンテクニカルスキル仮想教育技術とEBT手法の確立を目的とする医学教育工学技術の新たな展開であり, 医学EBTの先進的仮想学習モデルを導出する。

Outline of Annual Research Achievements

【研究概要】チーム医療が主流となった現在の臨床現場において、ノンテクニカルスキル(NOTECHS)は医療安全の観点から必須の医療者共通スキルとされる。Society5.0による社会課題解決が課題とされる中、操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境構築を可能とするVRは,医療テクニカル教育技術として有用視されている。一方、 NOTECHS教育も医療環境をシミュレートした仮想トレーニング化が必要となるものの、教育手法は対面式に限定され、客観的根拠に基づく訓練(EBT)に基づくスキル評価法も確立していない。本研究は仮想医学教育技術とEBT手法の確立を目的とし『AIとVR技術の融合による医療系学生ノンテクニカルスキルEBT技術』の研究開発を実施した。
【研究実績】2022年度研究では、AIとVRの融合による医療系学生向けNOTECHS仮想トレーニング技術の研究を実施した。患者案内や患者問診、患者指導などの医療行為を360度高精細動画にて撮影し、選択した解答に沿って異なるシナリオ動画へ移行していくVR型医療トレーニングシミュレーション環境を構築した。選択においては受講者が音声によりAIに解答を伝えることで次のシナリオへと進行していくAIボットシステムを開発した。VR映像で提示される医療環境と伝達指示のAI解析と融合化したことで、次世代型NOTECHS仮想トレーニング技術の初期基盤技術を確立した。本技術について小規模な実証評価試験を行ったところ、AIの応答速度の向上について改良の必要性が明らかとなった。また複数名にVRを着用させ、両者のやりとりをAIに自然言語解析し、記録データをシミュレーション終了後に解析する比較対照試験を試みた。その結果、両者ともに受講者評価が高く異なるトレーニングシステムとしての有用性が示唆された。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

AIとVRの融合による医療系学生向けNOTECHS仮想トレーニング技術の研究において、VR型医療トレーニングシミュレーション環境を構築するとともに、AIに解答を伝えることで次のシナリオへと進行していくAIボットシステムを開発した。本システムはNOTECHS仮想トレーニング技術の確立における初期的な基盤技術としての目標を達成している。また本技術の初期運用評価は当初2023年度実施予定であったが、早期段階での検証を行ったことで、1名で実施する単独型VR-AIリアルタイム融合トレーニングと複数名で実施する多人数型VR-AIトレーニングでは異なるトレーニング効果が得られ、両者ともにAIによるデータ解析を通じてNOTECHSの客観的評価が可能であることが示唆されている。以上のことから、現在までの進捗状況は概ね良好であると考える。

Strategy for Future Research Activity

本研究においては、2022年度においてシミュレーションシナリオとして5つのケースシナリオ開発を達成しているが、単独型VR-AIリアルタイム融合トレーニング技術においてはAI応答の遅延が認められており、リアルタイム性のみならず高速性を求める医療トレーニングシミュレーション環境としては不充分な状況にある。一方で、多人数型VR-AIトレーニングではリアルタイムな評価提示は不可能である一方、高速なレスポンス提供が可能であることが判明している。よって、両者のメリットとデメリットを踏まえたシナリオを検討し、2023年度にEBT評価方法の確立に向けた検討を行う予定である。

Research Products

• [Presentation] Approach to the detection of reactive lymphocytes using multi-stage AI models (2022)
  • Author(s): H Nozaka, S Kaga, N Sakaiya, S Kimura, M Nakano, M Fujioka, M Kushibiki, S Ogasawara, M Ishiyama, K Kamata, K Yamagata.
  • Organizer: 12th Biennial Conference of the Asia Pacific Association for Medical Informatics (APAMI2022)
  • Int'l Joint Research
• [Presentation] Approach to automated classification of nucleated blood cells in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Hirano, S Souma, A Kobayashi, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
  • Int'l Joint Research
• [Presentation] Approach to automated recognition of blast cells in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Kimura, S Kaga, N Sakaiya, S Ogasawara, M Kushibiki, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th IFBLS World Congress of Biomedical Laboratory Science (IFBLS2022)
  • Int'l Joint Research
• [Presentation] Approach to automated detection of atypical lymphocytes in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Kaga, N Sakaiya, S Kimura, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th International Society for Laboratory Hematology (ISLH2022)
  • Int'l Joint Research
• [Presentation] Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening (2022)
  • Author(s): H Nozaka, S Kimura, S Kaga, N Sakaiya, M Kushibiki, S Ogasawara, M Ishiyama, M Nakano, M Fujioka, K Kamata, K Yamagata
  • Organizer: 35th International Society for Laboratory Hematology (ISLH2022)
  • Int'l Joint Research
• [Presentation] 深層学習法を用いた異型リンパ球検出AI モデルの開発と評価 (2022)
  • Author(s): 野坂 大喜, 藤岡 美幸, 小笠原 脩, 櫛引 美穂子
  • Organizer: 第71回日本医学検査学会
• [Presentation] 言語技術学習が医療系学生のロジカルシンキングスキルとソーシャルスキルに与える効果 (2022)
  • Author(s): 野坂 大喜, 藤岡 美幸
  • Organizer: 第71回日本医学検査学会
• [Presentation] 人工知能(AI)を用いた顆粒球系幼若細胞検出・分類技術の開発と評価 (2022)
  • Author(s): 野坂 大喜, 小笠原 脩, 櫛引 美穂子, 鎌田 耕輔, 山形 和史
  • Organizer: 第10回北日本支部日本医学検査学会
• [Presentation] COVID-19 環境下の非対面教育が臨床検査専攻学生のソーシャルスキルに与えた影響 (2022)
  • Author(s): 野坂 大喜, 藤岡 美幸, 山形 和史
  • Organizer: 第10回北日本支部日本医学検査学会
• [Presentation] AI technologies and potentials in clinical laboratory post pandemic (2022)
  • Author(s): H Nozaka
  • Organizer: 13th Asia-Pacific Forum of Medical Laboratory Sciences (APFMLS2022)
  • Int'l Joint Research / Invited