| Project/Area Number |
22K13766
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
菅宮 友莉奈 早稲田大学, 理工学術院, 講師(任期付) (80907080)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 教育工学 / 医学教育 / 音声認識 / 動作認識 |
|---|
| Outline of Research at the Start |
繰り返し練習し，さらにフィードバックを受けることで学習は促進される．そこで，CGの患者に対して問診を行う自習システムを開発する．CG患者が学習者（医学生）の指示に応じて姿勢を変えることで，学習者はフィードバックが得られる．しかし，患者への指示は複数の表現方法があるため，指示の意味を解釈する必要がある．例えば，患者に片腕を上げさせたい時に，音声で「右手を挙げて下さい」と指示することも「このようにして下さい」と手本を見せることも適切である．そこで，学習者の言動をセンサによって自動計測し，さらに複数ある表現と比較して姿勢遷移を行うシステムを開発する．
|
| Outline of Annual Research Achievements |
問診中の学修者の言動を自動計測・採点することで，自己学修システムを開発することが本研究の目的である．問診などの臨床技能は，自己学修では反復練習や成否の判断が困難という問題がある．特に技能の評価を困難にしている点として，正否が一通りではなく，正解が幅を持っていることが大きい．そこで，本研究では，問診を対象として，学修者の発話および動作を装置によって自動計測を行い，さらに複数通りある解答と比較して採点を行う．また，患者に対して診察を行うことを擬似的に体験し，評価が得られる自習システムの構築を行う．
本年度は，問診中の学修者の動作の自動計測手法の開発を進めた．問診中の動作は向きもしくは手本を示すことが，申請者のこれまでの研究によって示唆されている．そこで，向きおよび手本を示す際に人が使用する部位の特定および，計測するべき物理量について実験により検証した．その結果，手，顔，視線を使用することが分かったため，各部位の認識をモーションキャプチャを用いて構築し，各部位の物理量を計測し，その値から向きおよび手本の情報を抽出するアルゴリズムを開発した．さらに，構築した自動計測手法の有効性について検証を行った．現在，論文化を進めている．
また，ゲーム開発エンジンのUnityを用いて，リアリティの高いCG患者について作成を進めた．構築した動作の自動計測手法手本動作の認識について，および，CG患者の印象について学会発表や論文誌への投稿を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
初年度の計画として，CG患者シミュレータのリアリティついて，医学生に対して印象評価を行い，臨場感について検証を行い，さらに，CG患者シミュレータに対して問診を行う動画を複数の医師に見てもらい，採点の結果が本システムと一致するのか有効性について検証することを目標としていた．
これまでのCGで医学生に対して印象評価の実験を行った．作成したCG患者，模擬患者，イメージトレーニングの3者で比較実験を行った結果，臨場感・緊張感・親近感などの項目において，模擬患者よりは劣るが，イメージトレーニングよりも高い評価となった．臨場感の欠如は大きなものではなかったが，改良作業が容易に可能な指摘項目が多かったため，現在，改良版の作成を進めている．進捗として，患者CGモデルは完成しており，これまで開発した音声認識や動作認識との統合を行うことで完了する．
また，本システムによる採点の結果と医師による採点の結果は一致することが，実験により確認された．複数の医師による採点を行った結果，「もっとも多くの医師のつけた得点」と「本システムがつけた得点」は一致したが，医師間で評価が大きく分かれることも合わせて判明した．この結果について，申請者は貴重な知見であると判断したため，医学的な見地における協力者の山内かづ代講師や大久保由美子教授と，詳細な理由の分析を進めている．また，この実験結果の論文執筆を進めている．
さらに，計画以上の進捗として，問診中の学修者の動作の自動計測手法の開発を進めた．問診中の動作から向きおよび示す際に人が使用する部位の特定および，計測するべき物理量について実験により検証した．その結果，手，顔，視線を使用することが分かったため，各部位を認識し，向きおよび手本の情報を抽出するアルゴリズムを開発した．さらに，アルゴリズムの有効性について検証を行った．現在，論文化を進めている．
|
| Strategy for Future Research Activity |
初年度が計画通りに進められたため，計画通り改良版のCG患者に対して音声認識・動作認識の統合を引き続き行い，現状のCG患者との比較実験を行う．また，医師の評価との違いがなかったため，検証は不要となった．
CG患者の出力方式について，ヘッドマウントディスプレイや大きなディスプレイを使用した場合との比較検討についても行いたい．さらに，計画以上の進捗として初年度に進められた動作認識アルゴリズムを新しいCG患者モデルに統合し，性能確認を行う．
また，得られた成果について分野に影響力の高い学会での発表や論文誌への投稿をすすめる．
|
