AIエンジンを使用した学習者表情分析による講義満足度の検証

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K17226
• Research Institution: Tokyo Medical and Dental University
• Principal Investigator: 赤石 雄 東京医科歯科大学, 大学院医歯学総合研究科, 寄附講座助教 (60532207)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: AIエンジン / 表情分析 / 非言語情報 / 授業満足度

Outline of Annual Research Achievements

本研究では、表情分析技術にて非言語情報を数値化することによって、学習機会における学習者の“満足度”を客観的に評価できるか検証することを目的としている。
(1)資料の検索：表情分析と教育に関する研究資料を検索・収集し、分析を行った。また、表情分析ツールの比較・検討も行った。
(2)講義スライド、ミニテスト、評価表の作成：医学知識を活用し臨床に役立つような内容の講義スライドの作成を行った。先行文献を参考に、妥当性のある講義評価表の作成を行った。さらに、学習効果の評価のために講義の前後に行うミニテストの作成も行った。
(3)講義スライドなどの改良：10名前後の医学生に対して研究代表者が作成したスライド利用し、実際にオンライン上で講義を行った。その講義中の医学生の表情変化に関して、研究代表者がメモを取り、動画解析ツールなどは使用せずに、表情の大きさや喜怒哀楽の感情の検証・判定を行った。それらの結果を参考に、講義スライドや評価表などの改良を行った。
(4)講義中の表情分析：(1)の資料の検索の結果、OpenFace（オープンソースの顔の動作解析ツールキット）を使用することに決定した。OpenFaceでは、表情を撮影した動画から、顔の向きやAction Unitと呼ばれる表情運動要素、さらに視線の推定値などのデータを取得することが可能である。１名の学習者を対象に、講義中の表情を撮影しOpenFaceで解析を行った。また、学習定着率と満足度に関しても評価を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウイルス感染症拡大の影響で、対面での評価が困難な時期があり、進捗状況としてはやや遅れている。現在は、オンラインでの実施が可能なように、研究計画を改良したため、研究を推進できる状態になっている。

Strategy for Future Research Activity

被検者を増やし、Action Unitに代表されるような表情の変化と講義満足度や学習定着率の関連を、解析する予定である。

Causes of Carryover

2021年度に表情のAIエンジンによる解析を行う予定であったが、必要被験者数に到達せず当該年度の分析計画を一部変更したために、未使用額が発生した。本格的な解析を次年度に行うこととし、未使用額はその経費に充てる計画である。