Development of a virtual classmate for assistance of online course
Project/Area Number |
21H00895
|
Research Category |
Grant-in-Aid for Scientific Research (B)
|
Allocation Type | Single-year Grants |
Section | 一般 |
Review Section |
Basic Section 09070:Educational technology-related
|
Research Institution | Tohoku University |
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
Co-Investigator(Kenkyū-buntansha) |
塩入 諭 東北大学, 電気通信研究所, 教授 (70226091)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
Project Period (FY) |
2021-04-01 – 2026-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥13,910,000 (Direct Cost: ¥10,700,000、Indirect Cost: ¥3,210,000)
Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
|
Keywords | オンライン授業 / 音声対話 / 講義の重要度 / 仮想エージェント / 対話エージェント / 感情推定 / 重要文推定 / 表情生成 / MOOC / 集中度推定 / 講義重要度推定 / マルチモーダル対話 |
Outline of Research at the Start |
本提案では、受講生がオンデマンド型授業を受ける際に、受講生と一緒に動画を視聴しながら、講義で重要なポイントを受講生に教えたり、受講生の集中力が切れそうなときには励ましたりするなどの働きかけを行うAI「バーチャル・クラスメート」の開発を目指す。このシステムでは、講義動画から重要部分を自動抽出し、受講者のマルチモーダル情報から推定された受講生の集中度に応じて、より講義動画への集中を高めるようにエージェントが働きかけを行う。
|
Outline of Annual Research Achievements |
このプロジェクトでは、オンライン授業、特にオンデマンド型講義に関して、受講者と対話しながら講義への集中と内容の理解を促す音声対話エージェントを開発することが目標である。そのための課題のうち、仮想エージェントシステムの作成、講義の重要箇所の推定、学習者の注意状態の推定の3つの研究を推進した。それぞれの概要は以下の通りである。 1.仮想エージェントは、Unity、UnrealEngine、Azure CognitiveServiceの3つを組み合わせて作成した。ユーザの表情から感情認識モデルによって感情を推定し、またユーザの音声入力の認識結果からデータベースを検索して回答文を選択する。その際に、ユーザの感情と回答文のセンチメント分析結果を組み合わせてエージェントの表情を推定し、これにあわせてエージェントに表情をつけることができた。 2.講義の重要箇所の推定として、従来の文単位要約モデルを使って重要文の推定を行い、さらに音声特徴を組み合わせることの効果について検証した。いくつかのモデルを組み合わせて評価を行った結果、音声を組み合わせることの効果はそれほど高くなかった。また、講義を行う教員によって傾向が異なるので、最終的に一つのモデルで推定ができるのかどうかを含めて今後検討が必要である。 3.集中度の推定にはOpenFaceを使い、視線方向とまばたきによる集中度の推定を行った。また、スマートウォッチを利用した心拍数などと集中度の関連を調べた。今回の実験では実験参加者が少なかったため、今後データを増やして実験を続ける必要がある。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
仮想エージェントの開発は概ね終了した。今後は評価とブラッシュアップを行っていく必要がある。現状ではまだ表情生成やリップシンクがどの程度自然に見えるかの評価が特に必要である。また、今回はオンライン講義に関する対話をまだ実装しておらず、絵画に関する対話を用意した。 オンライン講義の重要箇所推定については、データを増やして評価を行っている。その結果、講演者による重要箇所のキューの違いなど、昨年度よりもさらに詳しい分析が可能になった。ただし、推定精度はまだ高くないため、今後の検討が必要になる。 受講者の集中度推定は、まだ着手したところであり、これから詳しい分析が必要になる。同様に、エージェントの動作生成も現在着手したところである。
|
Strategy for Future Research Activity |
今年度は、昨年度の検討ををさらに進めて、システムの完成度を高める。 1.仮想エージェントは、Unity、UnrealEngine、Azure CognitiveServiceの3つを組み合わせて作成しているが、表情生成をAzureのサービスに頼っており、自然性が十分でない。今年度はより自然な表情と動きの生成のためのモデルを開発するとともに、エージェントに実装して評価実験を行う。さらに、言語生成にLLMを利用することを検討する。 2.講義の重要箇所の推定として、従来の文単位要約モデルを使って重要文の推定を行い、さらに音声特徴を組み合わせることの効果について検証した。今年度は、重要文推定について新たにモデルを開発し、従来の要約ベースの手法との比較を行う。 3.集中度の推定にはOpenFaceを使い、視線方向とまばたきによる集中度の推定を行った。しかしこれでは十分な制度が得られなかったため、スマートウォッチを利用した心拍数などと集中度の関連を調べる。最終的にはスマートウォッチを装着して講義を受講することは現実的ではないので、画像から同等の情報を得る方法について検討する。すでにカメラ画像から心拍数などを推定する方法は提案されているので、これを実装してどこまで使えるか検証を行う。
|
Report
(2 results)
Research Products
(14 results)