2023 Fiscal Year Annual Research Report
Development of a virtual classmate for assistance of online course
| Project/Area Number |
21H00895
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塩入 諭 東北大学, 電気通信研究所, 教授 (70226091)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | オンライン授業 / 音声対話 / 対話エージェント / 感情推定 / 重要文推定 / 表情生成 |
|---|
| Outline of Annual Research Achievements |
仮想エージェントシステムの作成、講義の重要箇所の推定、学習者の注意状態の推定の３つの研究を推進した。それぞれの概要は以下の通りである。
１．R04年度に作成した仮想エージェントを実際に利用できるようにするため、全体システムの調整を行うとともに、プログラムの並列化を行って反応時間を短くすることに成功した。また、このシステムを利用して、エージェントの反応時間、エージェントの感情表現とユーザの印象に関する評価実験を行った。さらに、エージェントとユーザが共に動画を視聴している場合の、エージェントの動作生成に関する検討を行った。
２．講義の重要箇所の推定として、事前学習モデルBERTに基づく文章要約モデルBERTSUMと、大規模言語モデルGPT-3.5を用いた文章要約の比較実験を行った。その結果、GPTを利用した要約を利用して重要箇所を推定したものが高精度であることがわかった。さらに、重要箇所を指摘する主観評価実験を行い、同様にGPTによる重要箇所に基づく指摘が有効であることを見出した。
３．集中度推定システムには、Web カメラを使って心拍情報を計測する rPPG(remote photo-plethysmography) を用いた。システムには OpenFace と pyVHR を用いて実装した。今回はよそ見などの不注意を検出した瞬間にアラート音が鳴るように実装したが、検出精度が十分でない問題や、アラート音がかえって集中を妨げる問題が発生した。これらの問題点は先行研究にも見られたもので、今後改善していく必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
仮想エージェントの開発は概ね終了し、それを利用した評価も行った。現在はエージェントの動作はアドホックな方法を用いているので、エージェントの動作生成は今後検討していく。
オンライン講義の重要箇所推定についても、ある程度のデータ量を用いて比較実験を行い、有効な手法が明らかになった。また、それを用いて講義視聴中にフィードバックを行う実験を実行し、効果の検証を行った。
受講者の集中度推定は、ある程度可能になったが、さらに詳しい分析が必要になる。
|
| Strategy for Future Research Activity |
令和６年度以降は、まず受講者の集中度推定の高精度化と評価実験を行う。また、前年度おこなった重要箇所のフィードバックは、仮想エージェントを用いないものであった。そのため、仮想エージェントを用いて重要箇所フィードバックを行う方法について検討を行う必要がある。さらに、システムの最終形としては、仮想エージェントと受講者が音声で対話をしながら講義ビデオを視聴するという計画であるが、どのような対話を行うのか、対話のイニシアチブはユーザとエージェントのどちらが取るのか、どのようなタイミングで対話が開始されるのか等については現在未着手である。そのため、最終システム作成に向けて、今年度はこれらの課題に取り組んでいく。
|
