シミュレーション試験を用いた行動科学教育評価法の開発

2023 Fiscal Year Research-status Report

• Project/Area Number: 22K10418
• Research Institution: Kagoshima University
• Principal Investigator: 網谷 真理恵 鹿児島大学, 医歯学域医学系, 准教授 (90574400)
• Co-Investigator(Kenkyū-buntansha): 鷺山 健一郎 鹿児島大学, 医歯学域医学系, 講師 (00404525) ; 水間 喜美子 鹿児島大学, 医歯学総合研究科, 特任助教 (20903884) ; 大脇 哲洋 鹿児島大学, 医歯学域医学系, 教授 (50322318) ; 網谷 東方 鹿児島大学, 医歯学域医学系, 講師 (70535674) ; 小野 智司 鹿児島大学, 理工学域工学系, 教授 (90363605)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 行動科学 / OSCE / 医学教育

Outline of Annual Research Achievements

本研究では、医学教育においてモデル・コア・カリキュラムにも記載されている行動医学における行動変容の指導に用いられるツール開発をAIを応用して行うことを目的としています。行動変容の指導を実践できる評価者が少ないこと、また指導のポイントが不明確であることから、行動変容の面接の質の向上および、より適切なフィードバックの補助ツールとなるように、ＡＩを用いた補助教育システムを開発することを目指しています。
まず行動変容を促す授業カリキュラムの効果を評価するためのRubric（ルーブリック）評価表を開発しました。文献調査から学生がどの程度行動変容に向けてのスキルを身につけているかを測定するための評価基準について検証を行いました。評価表の作成には、動機付け面接（Motivational Interviewing）の基本要素であるOARS（Open questions, Affirmation, Reflective listening, Summary reflections）、間違い指摘反射、チェンジトーク、および行動理論の基本概念が組みこみました。
評価プロセスでは、授業中に行われた面接の内容を文字起こしし、そのデータを基にして複数の面接内容の評価を行いました。この過程において、評価表の妥当性と信頼性の検証も同時に進めています。妥当性の検証では、評価項目が行動変容の理論と実践にどれだけ適合しているかを確認し、信頼性の検証では、異なる評価者が同様の評価結果を得られるかどうかを試験しています。
本研究で得られた成果を広く共有するために、国内外の学会での発表を予定しております。また、評価方法の詳細や研究結果を学術論文として整理し、関連する専門誌への投稿を目指しています。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究の進捗状況としておおむね順調に進展しています。
当初の目標の第一段階であった、評価表の作成については、行動変容を促す授業カリキュラムの効果を評価するためのRubric（ルーブリック）評価表を開発しました。文献調査から学生がどの程度行動変容に向けてのスキルを身につけているかを測定するための評価基準について検証を行いました。評価表の作成には、動機付け面接（Motivational Interviewing）の基本要素であるOARS（Open questions, Affirmation, Reflective listening, Summary reflections）、間違い指摘反射、チェンジトーク、および行動理論の基本概念が組みこみました。
さらに、これらの評価基準をAIで評価を行うための、スクリプトの開発についても順調にすすみ、複数回のトライアルを実施しています。トライアルでの評価プロセスでは、授業中に行われた面接の内容を文字起こしし、そのデータを基にして複数の面接内容の評価を行いました。この過程において、評価表の妥当性と信頼性の検証も同時に進めています。妥当性の検証では、評価項目が行動変容の理論と実践にどれだけ適合しているかを確認し、信頼性の検証では、異なる評価者が同様の評価結果を得られるかどうかを試験しています。
本結果においては、国内外の学会での発表および論文発表を予定しており、順調に進捗しているといえます。

Strategy for Future Research Activity

今後の方針としては、これまで開発された評価の方法、およびAIによる評価についてのさらなる改善と結果解析、実用化に向けた検証を行っていきます。
これまで複数回のトライアルで実施してきた、評価基準をAIで評価を行うためのスクリプト開発、および評価表の妥当性と信頼性の検証についてさらに進めていきます。妥当性の検証では、評価項目が行動変容の理論と実践にどれだけ適合しているかを確認し、信頼性の検証では、異なる評価者が同様の評価結果を得られるかどうかを試験し、高い妥当性と信頼性を目指します。結果の解析をすすめ、本結果においては、国内外の学会での発表および論文発表を進めていきます。
さらなら実用化に向けて、これにより、教育分野における行動変容支援のカリキュラム開発の実用性の検証を行い、他施設、でも適用可能かどうかの検証を行い、より広範囲にわたる教育の質の向上に寄与することを目指します。また、教育現場での直接的なフィードバックを取り入れ、評価表の改善を進めることで、更に実用的　で効果的な評価ツールの確立を目指します。これらの取り組みが、行動変容を促す教育方法の発展に寄与することを期待しています。

Causes of Carryover

AI技術の急速な進歩と普及のため、データ解析アルゴリズムの開発費用が軽減されたため、次年度はさらに解析用データを集め、トライアルや精度の向上のための開発費用とする。