2023 Fiscal Year Research-status Report
自動音声認識と機械学習による新たな医学教育システムの創出
| Project/Area Number |
22K10459
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
小林 正和 東北大学, 大学病院, 非常勤講師 (30535076)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
荒田 悠太郎 東北大学, 大学病院, 助手 (20755011)
工藤 大介 東北大学, 医学系研究科, 准教授 (30455844)
久志本 成樹 東北大学, 医学系研究科, 教授 (50195434)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | シミュレーション教育 / 音声認識 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題実施計画に関して、成果を以下に報告する。①既存のシミュレーション教育シナリオから、熟練した指導者が評価するレベルで評価項目のチェックリストを作成する：予定通りに進行し、24のシナリオに関してチェックリストと時間経過の目安を作成した。②シミュレーション中の発話内容を音声認識・自然言語処理により自動記録するシステムを開発する：心肺蘇生法および病院前救急隊活動のシミュレーション4コースにおいて、シナリオ実施中に学習者の音声を取得し、音声認識入力の精度の検証を行った。共同研究企業であるTXP medical株式会社のアプリケーションを改良し、iOSの"ショートカット"機能から音声コマンド機能を用い、FileMakerファイルにデータを収集するシステムを開発した。音声認識には技術的課題があるため、受講者の言動をアプリケーション内から画面のタップで簡単に記録できるシステムを併用している。
③記録とチェックリストの整合性を機械学習により評価するシステムを開発する：シミュレーション中の受講者の言動の記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発し、その結果と時間軸の記録をデブリーフィングツールに反映した。④結果と時間軸の記録をデブリーフィングツールに反映する：心停止を判断した時間を”Time 0”として学習者の手技や言動の施行時間、所要時間も把握し、デブリーフィングツールに反映させた。⑤シミュレーションにおける検証と精度管理：心肺蘇生法のコース用に開発したシステムを実際のシミュレーションで用いて、実際の指導者がチェックした内容の比較検証し、システムの改修と精度の向上を進めている。
〇今後の予定：実際のシミュレーションコースに本システムを導入し、学習効果の向上に関して、学習者の到達度評価や学習者・指導者に対する質問紙を用いて検証研究を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究においては、以下の工程でシステムプロトタイプを作成し、東北大学クリニカル・スキルスラボで行われるシミュレーションコースで検証と研究を行った。①前年度作成したシナリオに基づいて、プロトタイプを作成した。②心肺蘇生法および病院前救急隊活動のシミュレーション4コースにおいて、シナリオ実施中に学習者の音声を取得し、音声認識入力の精度の検証を行った。音声認識には技術的課題があるため、シミュレーション中の受講者の言動をアプリケーション内から画面のタップで簡単に記録できるシステムを併用している。③シミュレーション中の受講者の言動の記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発し、その結果と時間軸の記録をデブリーフィングツールに反映した。
④心停止を判断した時間を”Time 0”として学習者の手技や言動の施行時間、所要時間も把握し、デブリーフィングツールに反映させた。⑤心肺蘇生法のシナリオ中は、音声認識と簡単な画面タップ操作にて学習者のシミュレーション中の言動の記録を行い、チェックリストの整合性が自動的に判定され、シナリオ終了後に結果を供覧しながらデブリーフィングに用いることができる。本システムを実際のシミュレーションで用いて、実際の指導者がチェックした内容の比較検証し、システムの改修と精度の向上を進めている。研究計画として2年目までに教育支援システムのブラッシュアップを行い、2,3年目で学習効果の検証を予定しており、音声認識の技術的課題もあるが概ね教育支援システムのブラッシュアップは完了しており、予定通り進捗していると考える。
|
| Strategy for Future Research Activity |
実際のシミュレーションコースに本システムを導入し、学習効果の向上に関して、学習者の到達度評価や学習者・指導者からの評価を質問紙を用いて検証研究を行う。
現在まずは心肺蘇生法のシミュレーションを中心的に行っているが、病院前救急隊診療のシミュレーションにもシナリオを広げて進めていく
|
| Causes of Carryover |
検証のためのボランティアへの謝金、TXPのソフトウェア使用料、演題発表のための学会出張旅費、心肺蘇生法以外の内容に展開するための必要機材と知識の導入のための使用を計画している
|
