国際的医療人育成のためのAIを活用した英語医療面接自動採点システムの開発

• Project/Area Number: 23K02344
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09040:Education on school subjects and primary/secondary education-related
• Research Institution: Oita University
• Principal Investigator: Sean・M Chidlow 大分大学, 医学部, 講師 (10437931)
• Co-Investigator(Kenkyū-buntansha): 大下 晴美 大分大学, 医学部, 准教授 (00618887) ; 岩城 貴史 大分大学, 医学部, 助教 (60416419)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2026: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: 英語医療面接 / 自動評価システム / AI / 英語スピーキング自動採点

Outline of Research at the Start

日本の医療機関を受診する外国人の数が今後増加すると予測される中，医療従事者の英語力育成は喫緊の課題となっている。また，AI技術の発達により，ビジネス英語を中心に英会話学習アプリや評価システムの開発は進んでいるが，医療現場に特化したものはまだ見られない。そこで，本研究を通して「AIを活用した英語医療面接自動採点システム」を開発することができれば，医療系学生の英語学習支援ツールとしてだけではなく，医療従事者の生涯学習ツールとしても有用であり，EMP(English for Medical Purposes)における英語スピーキング指導に関する有益な教育的示唆が得られる。

Outline of Annual Research Achievements

新型コロナウィルス感染症が第5類感染症に移行して以降，訪日外国人数は急速に増加しており，これに伴い，日本の医療機関を受診する外国人の数も今後ますます増加すると予測される。そのため，医療従事者の英語力育成は日本の医療の国際化を図るためにも喫緊の課題となっている。本研究では，医療系学生の英語学習支援ツールとしてだけではなく，医療従事者の生涯学習ツールとしても活用できるように，AI技術を用いて「英語医療面接自動採点システム」を開発することを目的としている。
1年目である2023年度には，(1)CBT(Computer-Based Testing)形式のディスコース完成タスクと評価指標の作成，(2)発話データの収集，(3)発話データの分析と音声データ処理を行う予定であった。(1)に関しては，作成したタスクと評価指標を用いて予備調査を医学科の学生約110名に実施した。その結果，タスクの難易度に問題があり，再作成する必要があることが明らかになった。(2)については，約350名分を収集したが，研究期間内に収集するデータ数ではAI学習アルゴリズムの開発に不十分であるという結果を得，参加した研修会での助言を得て，利用ツールを変更することとした。具体的には，音声認識にgoogleのspeech_recognitionライブラリ，OpenAIのwhisperライブラリ，およびwhisperクラウドAPIを，評価ツールとしてChat GPTを使用し，簡易版のAI学習アルゴリズムを試作した。収集した学生の音声データをサンプルとして予備調査を行った結果，これまでに試したライブラリ・APIでは学生の英語音声が発音・流暢性の問題から正確に文字化できていないこと，Chat GPTの評価基準が教師の評価基準と大きく異なる場合があることが分かり，今後修正する必要があることが明らかになった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

CBT(Computer-Based Testing)形式のディスコース完成タスクについては，予備調査の結果，問題が指摘されたが，すでに改訂案を協議しており，順調に進んでいる。また，本研究の申請当時は，音声認識ツールおよび評価ツールを自ら開発する予定であったが，参加した研修会での助言を得て，音声認識のライブラリもしくはAPIとChat GPTを利用するという発想により，当初の予定より早く簡易版を試作することができた。特にChat GPTを評価補助ツールとして使用することによって，研究期間内に収集する音声データ数が不十分であるという問題点も解消することができるため，採点システムの精度の向上が期待できると考える。

Strategy for Future Research Activity

2024年度は，予備調査で明らかになった以下の3点の問題の修正を行い，2025年度の英語医療面接自動採点システムの運用に向けた準備を行う。まず，CBT(Computer-Based Testing)形式のディスコース完成タスクを再作成する。昨年度の難易度の問題点を踏まえてタスクを作成し，予備調査を行うことによって，タスクの信頼性・妥当性を評価する。次に，作成したタスクを基に，Chat GPTの評価基準と教師の評価基準を比較検証し，Chat GPTのファインチューニングを行うことによって，教師の評価基準に合うようにAI学習アルゴリズムの設定を行う。さらに，学生の不完全な英語発話をできるだけ正しく認識・文字化できるように，音声認識機能を利用したテキスト化の精度・音声認識のトレーニング方法を検証する。以上の内容を研究成果として，学会での口頭発表および論文として発表する予定である。