2021 Fiscal Year Annual Research Report
Development of a virtual classmate for assistance of online course
| Project/Area Number |
21H00895
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塩入 諭 東北大学, 電気通信研究所, 教授 (70226091)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | オンライン授業 / 音声対話 / 対話エージェント / 感情推定 / 重要文推定 / 表情生成 |
|---|
| Outline of Annual Research Achievements |
このプロジェクトでは、オンライン授業、特にオンデマンド型講義に関して、受講者と対話しながら講義への集中と内容の理解を促す音声対話エージェントを開発することが目標である。そのための課題のうち、昨年度は次のサブテーマに取り組んだ。(1) オンライン講義ビデオから、重要な個所を自動推定する。(2) 最終的な対話エージェントのプロトタイプを作成する。(3) ビデオコンテンツおよび受講者のマルチモーダル情報から、エージェントの適切な動作を推定する。
このうち(1)に関して、今年度は3つの講義ビデオから重要箇所を推定した。まず、ビデオの内容を書き起こし、3名の実験参加者が重要箇所のアノテーションを行った。次に、書き起こしテキストに対して、文章要約アルゴリズムを使って重要文を抽出し、これを人手による重要箇所と比較した。要約手法として、Luhn, TextRank, LexRank, BERTSUMの4つの手法を比較した。その結果、全体としてはLexRankが安定して高い性能を示し、BERTSUMは講演者による性能の変動が大きいことが分かった。また、LexRank/BERTSUMとLuhnを組み合わせる方法を検討し、抽出文の中から重要語句を含まない文を排除することで性能が改善することが分かった。さらに、音声のピッチやパワーなどの韻律情報を組み合わせることを検討したところ、これも講演者による差が大きく、この差が何に起因するかを解明することが課題となった。
(2)に関しては、Unityを利用して、動画と対話エージェントを同時に表示するシステムのプロトタイプを完成させた。まだエージェントの表情やジェスチャなどの表現力が十分ではないため、これが課題となる。
(3)については、感情ラベル付き顔画像データベースであるCK+を用い、感情ラベルから顔表情のアクションユニットを生成するシステムを作成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度はパイロット的な研究を進めてきたが、講義の重要箇所推定については、教員の個性によって重要箇所のキューが異なるらしいという新規性の高い結果が得られており、今年度はさらにそれを進めたい。システム作成は着実に進んでいるが、最終的なシステム統合に向けて、部分的にシステムを連携させつつテストを進める必要がある。
|
| Strategy for Future Research Activity |
今年度は、受講者の集中度推定をまず進め、さらに実験によって講義の重要度と受講者の集中度の関連について調査を行いたい。重要箇所推定については、対象とする抗議の数を可能な限り増やし、後援者のどのような要因が重要箇所の知覚に関連するのかを明らかにしたい。さらに、全体システム完成に向けて、現在作っているシステムが有効かどうかのテストを行っていく。
|
