自動音声認識と機械学習による新たな医学教育システムの創出

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K10459
• Research Institution: Tohoku University
• Principal Investigator: 小林 正和 東北大学, 大学病院, 助手 (30535076)
• Co-Investigator(Kenkyū-buntansha): 荒田 悠太郎 東北大学, 大学病院, 助手 (20755011) ; 工藤 大介 東北大学, 医学系研究科, 准教授 (30455844) ; 久志本 成樹 東北大学, 医学系研究科, 教授 (50195434)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 心肺蘇生 / 音声認識 / シミュレーション教育 / 機械学習 / 自然言語処理

Outline of Annual Research Achievements

本研究課題実施計画に関して、成果を以下に報告する。①既存のシミュレーション教育シナリオから、熟練した指導者が評価するレベルで評価項目のチェックリストを作成する：予定通りに進行し、24のシナリオに関してチェックリストと時間経過の目安を作成した。②シミュレーション中の発話内容を音声認識・自然言語処理により自動記録するシステムを開発する：心肺蘇生法および病院前救急隊活動のシミュレーション4コースにおいて、シナリオ実施中に学習者の音声を取得した。
共同研究企業であるTXP medical株式会社のアプリケーションを改良しシステムを開発している。音声認識に関してはまだ技術的課題があるが、シミュレーション中の受講者の言動はシステムを用いて簡便に記録し、掲示板形式で表示することができている。現在、実際のシミュレーションにて検証を実施している。③記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発する。④結果と時間軸の記録をデブリーフィングツールに反映する：シミュレーション中の記録内容と時間経過を共有しデブリーフィングに用いることはできており、機械学習でチェックリストとの整合性を評価するシステムを現在開発中である。
〇今後の予定 音声認識・自然言語処理により記録した内容とシナリオチェックリストの整合性を機械学習で評価し、結果と時間軸の記録をデブリーフィングツールに反映するシステムの開発を進める。プロトタイプを実際のシミュレーションで試用し、音声認識・自然言語処理による自動記録の精度向上を進め、システムの完成を目指す。
システム完成後、実際のシミュレーションコースに本システムを導入し、学習効果の向上に関して、学習者の到達度評価や学習者・指導者に対する質問紙を用いて検証研究を行う。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究では、音声認識と機械学習を用いた新たなシミュレーション医学教育支援システムを開発する。①既存のシミュレーション教育シナリオから、熟練した指導者が評価するレベルで評価項目のチェックリストを作成する：予定通りに進行し、心肺蘇生法シミュレーションの24のシナリオに関してチェックリストと時間経過の目安を作成した。②シミュレーション中の発話内容を音声認識・自然言語処理により自動記録するシステムを開発する：心肺蘇生法および病院前救急隊活動のシミュレーション4コースにおいて、シナリオ実施中に学習者の音声を取得した。新型コロナウイルス感染症蔓延の影響により、集団型シミュレーション教育の講習会の開催が困難な時期が長く続き、予定よりもコース数は少なく、時期も遅れた。共同研究企業であるTXP medical株式会社のアプリケーションを改良し、iOSの"ショートカット"機能から音声コマンド機能を用い、音声入力からテキスト置換して重要情報抽出してFileMakerファイルにデータを収集するシステムを開発している。音声認識に関してはまだ技術的課題があるが、シミュレーション中の受講者の言動はシステムを用いて簡便に記録し、掲示板形式で表示することができている。現在、作成したプロトタイプを実際のシミュレーションに用いて検証を実施している。③記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発する。④結果と時間軸の記録をデブリーフィングツールに反映する：シミュレーション中の記録内容と時間経過を共有しデブリーフィングに用いることはできており、機械学習でチェックリストとの整合性を評価するシステムを現在開発中である。
研究計画として、1年目に教育支援システムの開発とデータの収集・解析を行う予定であり、新型コロナウイルス感染症蔓延の影響を受けてはいるものの、概ね予定通り進捗していると考える。

Strategy for Future Research Activity

音声認識・自然言語処理により記録した内容とシナリオチェックリストの整合性を機械学習で評価し、結果と時間軸の記録をデブリーフィングツールに反映するシステムの開発を進める。プロトタイプを実際のシミュレーションで試用し、音声認識・自然言語処理による自動記録の精度向上とシステムの利便性と正確性の向上を図り、システムの完成を目指す。
システム完成後、実際のシミュレーションコースに本システムを導入し、学習効果の向上に関して、学習者の到達度評価や学習者・指導者からの評価を質問紙を用いて検証研究を行う。現在まずは心肺蘇生法のシミュレーションを中心的に行っているが、病院前救急隊診療のシミュレーションにもシナリオを広げて進めていく。

Causes of Carryover

コロナ禍で、学生を集めての模擬活動、データ収集を予定通りに行うことができなかったため。
また、情報収集を予定していた海外の学会などへの渡航もコロナ禍にてできなかったため。