シミュレーション試験を用いた行動科学教育評価法の開発

• Project/Area Number: 22K10418
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 58010:Medical management and medical sociology-related
• Research Institution: Kagoshima University
• Principal Investigator: 網谷 真理恵 鹿児島大学, 医歯学域医学系, 准教授 (90574400)
• Co-Investigator(Kenkyū-buntansha): 鷺山 健一郎 鹿児島大学, 医歯学域医学系, 講師 (00404525) ; 水間 喜美子 鹿児島大学, 医歯学総合研究科, 特任助教 (20903884) ; 大脇 哲洋 鹿児島大学, 医歯学域医学系, 教授 (50322318) ; 網谷 東方 鹿児島大学, 医歯学域医学系, 講師 (70535674) ; 小野 智司 鹿児島大学, 理工学域工学系, 教授 (90363605)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: 行動科学 / OSCE / 医学教育 / 社会行動科学

Outline of Research at the Start

行動科学教育の標準化をめざし、行動科学のカリキュラムの導入がおこなわれているが、適切に行動科学の能力を評価する評価法についてはないのが現状である。本研究では、これまでに開発したOSCEシステムを行動科学・社会科学教育に応用し、信頼性、客観性かつ妥当性の高い評価方法による適切な合否判定方法について検討し、行動科学の試験として実用化することを目的とする。そのための方法として、画像処理アルゴリズム開発を加え、信頼性の高い評価プロセスを開発する。

Outline of Annual Research Achievements

本研究では、医学教育においてモデル・コア・カリキュラムにも記載されている行動医学における行動変容の指導に用いられるツール開発をAIを応用して行うことを目的としています。行動変容の指導を実践できる評価者が少ないこと、また指導のポイントが不明確であることから、行動変容の面接の質の向上および、より適切なフィードバックの補助ツールとなるように、ＡＩを用いた補助教育システムを開発することを目指しています。
まず行動変容を促す授業カリキュラムの効果を評価するためのRubric（ルーブリック）評価表を開発しました。文献調査から学生がどの程度行動変容に向けてのスキルを身につけているかを測定するための評価基準について検証を行いました。評価表の作成には、動機付け面接（Motivational Interviewing）の基本要素であるOARS（Open questions, Affirmation, Reflective listening, Summary reflections）、間違い指摘反射、チェンジトーク、および行動理論の基本概念が組みこみました。
評価プロセスでは、授業中に行われた面接の内容を文字起こしし、そのデータを基にして複数の面接内容の評価を行いました。この過程において、評価表の妥当性と信頼性の検証も同時に進めています。妥当性の検証では、評価項目が行動変容の理論と実践にどれだけ適合しているかを確認し、信頼性の検証では、異なる評価者が同様の評価結果を得られるかどうかを試験しています。
本研究で得られた成果を広く共有するために、国内外の学会での発表を予定しております。また、評価方法の詳細や研究結果を学術論文として整理し、関連する専門誌への投稿を目指しています。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究の進捗状況としておおむね順調に進展しています。
当初の目標の第一段階であった、評価表の作成については、行動変容を促す授業カリキュラムの効果を評価するためのRubric（ルーブリック）評価表を開発しました。文献調査から学生がどの程度行動変容に向けてのスキルを身につけているかを測定するための評価基準について検証を行いました。評価表の作成には、動機付け面接（Motivational Interviewing）の基本要素であるOARS（Open questions, Affirmation, Reflective listening, Summary reflections）、間違い指摘反射、チェンジトーク、および行動理論の基本概念が組みこみました。
さらに、これらの評価基準をAIで評価を行うための、スクリプトの開発についても順調にすすみ、複数回のトライアルを実施しています。トライアルでの評価プロセスでは、授業中に行われた面接の内容を文字起こしし、そのデータを基にして複数の面接内容の評価を行いました。この過程において、評価表の妥当性と信頼性の検証も同時に進めています。妥当性の検証では、評価項目が行動変容の理論と実践にどれだけ適合しているかを確認し、信頼性の検証では、異なる評価者が同様の評価結果を得られるかどうかを試験しています。
本結果においては、国内外の学会での発表および論文発表を予定しており、順調に進捗しているといえます。

Strategy for Future Research Activity

今後の方針としては、これまで開発された評価の方法、およびAIによる評価についてのさらなる改善と結果解析、実用化に向けた検証を行っていきます。
これまで複数回のトライアルで実施してきた、評価基準をAIで評価を行うためのスクリプト開発、および評価表の妥当性と信頼性の検証についてさらに進めていきます。妥当性の検証では、評価項目が行動変容の理論と実践にどれだけ適合しているかを確認し、信頼性の検証では、異なる評価者が同様の評価結果を得られるかどうかを試験し、高い妥当性と信頼性を目指します。結果の解析をすすめ、本結果においては、国内外の学会での発表および論文発表を進めていきます。
さらなら実用化に向けて、これにより、教育分野における行動変容支援のカリキュラム開発の実用性の検証を行い、他施設、でも適用可能かどうかの検証を行い、より広範囲にわたる教育の質の向上に寄与することを目指します。また、教育現場での直接的なフィードバックを取り入れ、評価表の改善を進めることで、更に実用的　で効果的な評価ツールの確立を目指します。これらの取り組みが、行動変容を促す教育方法の発展に寄与することを期待しています。