2022 Fiscal Year Annual Research Report
Development of a virtual classmate for assistance of online course
| Project/Area Number |
21H00895
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塩入 諭 東北大学, 電気通信研究所, 教授 (70226091)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | オンライン授業 / 音声対話 / 対話エージェント / 感情推定 / 重要文推定 / 表情生成 |
|---|
| Outline of Annual Research Achievements |
このプロジェクトでは、オンライン授業、特にオンデマンド型講義に関して、受講者と対話しながら講義への集中と内容の理解を促す音声対話エージェントを開発することが目標である。そのための課題のうち、仮想エージェントシステムの作成、講義の重要箇所の推定、学習者の注意状態の推定の３つの研究を推進した。それぞれの概要は以下の通りである。
１．仮想エージェントは、Unity、UnrealEngine、Azure CognitiveServiceの３つを組み合わせて作成した。ユーザの表情から感情認識モデルによって感情を推定し、またユーザの音声入力の認識結果からデータベースを検索して回答文を選択する。その際に、ユーザの感情と回答文のセンチメント分析結果を組み合わせてエージェントの表情を推定し、これにあわせてエージェントに表情をつけることができた。
２．講義の重要箇所の推定として、従来の文単位要約モデルを使って重要文の推定を行い、さらに音声特徴を組み合わせることの効果について検証した。いくつかのモデルを組み合わせて評価を行った結果、音声を組み合わせることの効果はそれほど高くなかった。また、講義を行う教員によって傾向が異なるので、最終的に一つのモデルで推定ができるのかどうかを含めて今後検討が必要である。
３．集中度の推定にはOpenFaceを使い、視線方向とまばたきによる集中度の推定を行った。また、スマートウォッチを利用した心拍数などと集中度の関連を調べた。今回の実験では実験参加者が少なかったため、今後データを増やして実験を続ける必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
仮想エージェントの開発は概ね終了した。今後は評価とブラッシュアップを行っていく必要がある。現状ではまだ表情生成やリップシンクがどの程度自然に見えるかの評価が特に必要である。また、今回はオンライン講義に関する対話をまだ実装しておらず、絵画に関する対話を用意した。
オンライン講義の重要箇所推定については、データを増やして評価を行っている。その結果、講演者による重要箇所のキューの違いなど、昨年度よりもさらに詳しい分析が可能になった。ただし、推定精度はまだ高くないため、今後の検討が必要になる。
受講者の集中度推定は、まだ着手したところであり、これから詳しい分析が必要になる。同様に、エージェントの動作生成も現在着手したところである。
|
| Strategy for Future Research Activity |
今年度は、昨年度の検討ををさらに進めて、システムの完成度を高める。
１．仮想エージェントは、Unity、UnrealEngine、Azure CognitiveServiceの３つを組み合わせて作成しているが、表情生成をAzureのサービスに頼っており、自然性が十分でない。今年度はより自然な表情と動きの生成のためのモデルを開発するとともに、エージェントに実装して評価実験を行う。さらに、言語生成にLLMを利用することを検討する。
２．講義の重要箇所の推定として、従来の文単位要約モデルを使って重要文の推定を行い、さらに音声特徴を組み合わせることの効果について検証した。今年度は、重要文推定について新たにモデルを開発し、従来の要約ベースの手法との比較を行う。
３．集中度の推定にはOpenFaceを使い、視線方向とまばたきによる集中度の推定を行った。しかしこれでは十分な制度が得られなかったため、スマートウォッチを利用した心拍数などと集中度の関連を調べる。最終的にはスマートウォッチを装着して講義を受講することは現実的ではないので、画像から同等の情報を得る方法について検討する。すでにカメラ画像から心拍数などを推定する方法は提案されているので、これを実装してどこまで使えるか検証を行う。
|
