| Project/Area Number |
24H00170
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Fujita Health University |
|---|
Principal Investigator |
石原 慎 藤田医科大学, 医学部, 教授 (40329735)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡崎 史子 新潟大学, 医歯学系, 教授 (10266637)
蓮沼 直子 広島大学, 医系科学研究科(医), 教授 (10282170)
高橋 誠 北海道大学, 医学研究院, 教授 (10361718)
鋪野 紀好 千葉大学, 大学院医学研究院, 特任准教授 (10624009)
橋本 佳 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10635907)
廣井 直樹 島根大学, 学術研究院医学・看護学系, 教授 (30366497)
寺澤 晃彦 藤田医科大学, 医学部, 教授 (30399597)
小松 弘幸 宮崎大学, 医学部, 教授 (30598339)
山内 かづ代 獨協医科大学, 医学部, 教授 (30648069)
三好 智子 京都大学, 医学研究科, 准教授 (40444674)
伊藤 俊之 滋賀医科大学, 医学部, 教授 (50447976)
伊藤 彰一 千葉大学, 大学院医学研究院, 教授 (60376374)
藤田 博一 高知大学, 教育研究部医療学系医学教育部門, 教授 (70380326)
田口 亮 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (70508415)
大久保 由美子 帝京大学, 医学部, 教授 (80287317)
李 晃伸 名古屋工業大学, 工学(系)研究科(研究院), 教授 (80332766)
荒川 敏 藤田医科大学, 医学部, 准教授 (80449462)
栩野 吉弘 大阪公立大学, 大学院医学研究科, 准教授 (90382051)
岸 美紀子 群馬大学, 大学院医学系研究科, 教授 (90396630)
上乃 聖 名古屋工業大学, 工学(系)研究科(研究院), 助教 (90964007)
|
|---|
| Project Period (FY) |
2024-04-01 – 2029-03-31
|
| Project Status |
Granted (Fiscal Year 2025)
|
| Budget Amount *help |
¥48,360,000 (Direct Cost: ¥37,200,000、Indirect Cost: ¥11,160,000)
Fiscal Year 2026: ¥15,730,000 (Direct Cost: ¥12,100,000、Indirect Cost: ¥3,630,000)
Fiscal Year 2025: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥19,890,000 (Direct Cost: ¥15,300,000、Indirect Cost: ¥4,590,000)
|
|---|
| Keywords | 医療面接教育 / 模擬患者アバター / 自動評価 / Artificial Intelligence / 仮想空間 |
|---|
| Outline of Research at the Start |
模擬患者の対応のばらつきや人数不足を解消するために、AIによる対話技術を活用した模
擬患者アバターと、それを含めた仮想空間での医療面接シミュレータによる教育基盤を創生
する。それとともに、医療面接の公正な評価を可能とするために、大規模な面接データの収
集及び臨床医が行う試験の評価を基準とした医療コミュニケーション自動測定・評価システ
ムを合わせて構築する。
|
| Outline of Annual Research Achievements |
研究計画の1年目として、医療面接の臨場感を再現するVR医療面接対話システムの構築、医療面接能力の評価指標の有効性検討、および医学生の発話の評価手法の検討を行った。
システム構築については、男女2名の模擬患者の協力のもと全身の写真撮影を行い、それをもとに高齢者男女の模擬患者アバターを制作した。本アバターは人間と同等の任意の身体動作と表情パーツを具備する高精細なモデルで、リアルな痛みや感情の表現を行える。医療面接空間は実際に利用されている診察室を撮影し、それを再現するよう作成した。AIによる模擬患者対話は OpenAI の RealTime API を用い、低遅延での滑らかな音声対話を実現した。目線の制御や自動リップシンクをさらに実装し、Meta Quest 3 での単体動作でありつつ臨場感ある医療面談を実現できた。医療面接能力の評価指標については、医療面接中の医者のうなずき、視線、表情を記録・分析し、医療面接能力の評価指標としての有効性を検討した。実験ではシースルー型のMRデバイスであるMeta Quest Proを装着した現役の医師が、患者役の学生と医療面接を模した対話を行い、その中で良い振る舞いと悪い振る舞いを演じデータを収集した。その結果、うなずきや視線、眉間の動きは有効な指標となる可能性が示唆された。一方で、Quest Proはうなずき時に映像がぶれるなど問題点も明らかとなったことから、今後はより安価で映像表現能力が高いQuest 3を用いてデータ収集を行うことに決定した。医学生の発話の評価手法については、医者の発声の収録方法について検討を行うとともに、医療面接時の音声から特徴を捉える手法として、自己教師あり学習モデルであるHuBERTを用いた特徴抽出方法や、Deformable Convolutional Networkを用いた特徴抽出方法の検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は第1次研究計画の前半にあたり、今後のデータ収集・医療従事者による評価・システム改善のフィードバックを回すための基盤システムの開発が目標である。目的である模擬患者アバターと仮想医療面談空間は十分なクオリティで作成することができ、高価な機材でなくても Meta Quest 3 で没入感ある対話が行えることを確認した。また、現役で医学生を教育する立場の先生への聞き取り調査から今後の課題ポイントも整理できており、研究計画はおおむね順調に進展しているといえる。ただし傾聴表出や相槌動作といったふるまいや模擬患者の会話スタイルに改善の余地がある。また、医療面接の初期評価尺度の検討、医師のふるまいデータ収集、センシング情報の策定とVRデバイスの選定・評価を実施できたほか、医療面談時の音声から医者のふるまいを評価するための準備として、医療面談データの収集に先立ち、音声から多様な特徴を捉える手法について検討を行った。いずれも問題は軽微であり、おおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
おおむね計画通りに進行できと見込んでいる。医療関係者および模擬患者本人からのフィードバックを収集しながら、特に問題となっている患者らしいリアルな会話の再現のための改善から執り行う。音声合成については、痛みを伴う話声に特化した「愁訴音声合成」実現のための取り組みを開始する。医学生を用いた実証実験・訓練効果検証を医療チーム側で進めるとともに、検証範囲を広げ、様々な模擬患者や病状を対象としたデータベース収集の準備を行う。また、医学生の実際の振る舞いデータを収集するため、複数大学の医学生を対象としたデータ収集実験を行うとともに、その振る舞いを医師や模擬患者に採点してもらう。データをもとに音声から様々な特徴を抽出する枠組みを検討し、自動評価のための機械学習モデルを開発しつつ、大規模な検証実験につなげていく。
|
