2023 Fiscal Year Annual Research Report
Adaptive Learning Experience Enhancement of Lecture Archives Based on Watching Tendencies and Multimodal Features
| Project/Area Number |
23H03506
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
長谷川 忍 北陸先端科学技術大学院大学, 遠隔教育研究イノベーションセンター, 教授 (30345665)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡田 将吾 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
太田 光一 北陸先端科学技術大学院大学, 遠隔教育研究イノベーションセンター, 助教 (00770124)
谷 文 北陸先端科学技術大学院大学, 遠隔教育研究イノベーションセンター, 助教 (30963631)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 講義アーカイブ / 視聴傾向 / 関心領域 / 視聴体験拡張 / マルチモーダル特徴量 |
|---|
| Outline of Annual Research Achievements |
時空間マルチモーダル特徴量抽出に関する研究として，対面プレゼンテーションを収録した講義アーカイブに含まれる講師の動作や韻律，スライド差分などに代表されるマルチモーダル一次特徴量を抽出したデータセットを構築した．特に，従来手法ではあまり検討してこなかった発話データに注目し，講義室の天井に設置した環境ノイズ入りの発話データとピンマイクによる安定した発話データを同時に収録し，講師の位置や向き，環境ノイズの影響を軽減する手法を検討できるようにした．また，完全な精度ではないが，発話データから発話テキストを認識することで，講義アーカイブの時空間マルチモーダル特徴量データセットを構築した．
また，講師の意図の説明に必要な姿勢や感情，講義中のトピック等の推定結果を二次特徴量として活用できるように，講義アーカイブの時空間特徴をマルチモーダルかつ異なる抽象度でベクトル化するため，一定区間を対象とした講師の意図情報（姿勢，感情，トピック）推定のためのマルチタスク深層学習手法の開発した．特に，発話データから講師の強調箇所を推定するため，音声分析、処理、分類のためのオープンソースのツールキットであるopenSMILEに実装されたIS09特徴セットを利用して音声特徴を抽出し，それらの特徴を分類機(SVM，CNN，LSTM)に入力して，発話スタイル推定モデルを構築した．
また，視聴傾向モデルの推定手法に関する研究として，講義アーカイブに対するそれぞれの学習者の視聴タイミングや視聴時に任意の時間軸に移動するシーク操作等の時系列情報によって構成される学習者の視聴傾向を記録するアーカイブプレイヤを開発し，得られたデータから，視聴操作から学習者群に共通する傾向と，学習者毎の特徴的な傾向を表現するための分析を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の当初の目標として，(a)時空間マルチモーダル特徴量抽出に関する研究と(b)視聴傾向モデルの推定手法に関する研究を設定し，(a)では，20名から一人当たり150分のデータ収集を行い，特に発話データを強化したマルチモーダル一次特徴量を抽出したデータセットを構築した．さらに，発話データから講師の強調箇所を推定するための発話スタイル推定モデルを構築し，その結果，ピンマイクと天井マイクの初期の推定精度としてそれぞれ82%，76%に達した．(b)では，講義アーカイブに対するシーク操作のログを収集する機能をLMS上のプレイヤとして実装し，蓄積されたデータから視聴タイミングによるクラスタリングと視聴時間の分析を行った．これらからおおむね当初の目標は達成できたと言える．
|
| Strategy for Future Research Activity |
今後は，(a)時空間マルチモーダル特徴量抽出に関する研究として，これまでに確立した講義アーカイブのマルチモーダル一次特徴量の抽出手法を新たに収録した講義アーカイブに適用し，音声のノイズ処理等で得られたデータから講師の発話テキストを抽出することで，講義アーカイブの時空間マルチモーダル特徴量データセットを拡充する．加えて，講師の意図情報（姿勢，感情，トピック）推定のために前年度までに開発したマルチタスク深層学習手法を改善するためにTransformerベースの新たな学習手法を導入し，講師の意図の説明精度の改善を図ることを計画している．
(b)視聴傾向モデルの推定手法に関する研究については，LMS上に実装したアーカイブプレイヤのユーザビリティの改善を行うとともに，学習者毎の操作ログの分布の偏りとマルチモーダル特徴量に基づく時系列要素を考慮した視聴傾向モデルの表現および推定手法を開発する．
(c)適応的アーカイブ視聴体験拡張に関する研究として，(b)で開発したアーカイブプレイヤに，学習者の操作ログから視聴傾向モデルを更新し，講義アーカイブの強調すべき時空間ROIを推定・自動調整した再生を行う視聴体験拡張プロトタイプを開発する．また，研究代表者の所属機関の学生を対象にプロトタイプシステムを運用し，統制群（学習者全体のデータから生成する視聴体験拡張）と実験群（個々の学習者に適応した視聴体験拡張）を設定して，比較実験を実施する．特に，学習者の操作による視聴体験と両群で生成される視聴体験拡張の一致度を比較することに加え，両群の学習環境における学習者のエンゲージメントの比較や両群の学習環境における学習者の追加の操作ログの分析を行うことを予定している．
|
