2020 Fiscal Year Annual Research Report
System development for aggregating learners' expressive acts corresponding to mental states and feeding the results back to learners
| Project/Area Number |
18H01059
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
加藤 浩 放送大学, 教養学部, 教授 (80332146)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺田 努 神戸大学, 工学研究科, 教授 (70324861)
葛岡 英明 東京大学, 大学院情報理工学系研究科, 教授 (10241796)
鈴木 栄幸 茨城大学, 人文社会科学部, 教授 (20323199)
久保田 善彦 玉川大学, 教育学研究科, 教授 (90432103)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 教育工学 / 教育評価 / HCI / ウェアラブルコンピューティング / 協調学習 / 生体情報 |
|---|
| Outline of Annual Research Achievements |
これまで、頭部に装着したモーションセンサーから得た頭部の動き（加速度）やまばたきなどの情報を用いて、学習者の心的状態の表出を自動的に検出し、ポジティブ/ネガティブ/ニュートラルの３種類に分類するシステムを目指して研究を行ってきた．そのためにセンサーの出力値から心的状態を機械学習することを試みたが、学習データの教師信号、すなわち、心的状態の正解ラベルの生成に困難があった．学習者の自己申告による方法、動画像から表情を分析して自動的に判定する方法、前記の表情分析結果を用いて人が正解ラベリングを行うのを補助するシステムを開発して用いる方法などを模索してきたが、最終的に、状況内評価を完全に自動認識するという目標を達成するのは非常に困難であると判断した．
そこで、コロナ禍によって対面の実験が大きく制限されるという事情もあり、遠隔リアルタイム教育の場面に対象を絞り、受講者の表出がどのような影響を自分自身や他者に与えるかを明らかにするという方向に軌道修正を行った．具体的には遠隔リアルタイム授業において、他の学習者映像がある場合とない場合、そして通常の対面授業の3条件において学習者の集中度・覚醒度が時間的にどう変化するかを調査する実験を実施した．集中度・覚醒度の推定には、心拍より得られるpNN50という指標を用いた．その結果、対面授業が最も集中度・覚醒度が高く、次いで他の学習者映像がある場合、最も低いのが他の学習者映像がない場合であった．これより、他者の存在感や自分が他者に見られる可能性が受講態度に影響することが示唆された．さらに、うなずきという行為と行為者の集中度・覚醒度の上昇に相関関係が見られた．これより、うなずきに、従来想定していた話者に対するリアクションとして話者の行為を評価（状況内評価）することの他に、自身の集中度・覚醒度を上昇させるためという機能もあるのではないかという仮説を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ禍のために対面で実施する実験が大きく制限され、研究方針の変更が余儀なくされた．
|
| Strategy for Future Research Activity |
今年度、リアルタイムの遠隔授業を対象にして、学習者の表出の機能解明に焦点を絞った研究に軌道修正を行い、様々な条件でうなずき等の表出の出現頻度や心拍情報から得られる集中度・覚醒度の変化を調査したところ、うなずきという行為と行為者の集中度・覚醒度の上昇に相関関係が見られた．これより、うなずきには、自身の集中度・覚醒度を上昇させるという機能もあるのではないかという仮説を得た．
そこで、来年度は、遠隔授業の実験を重ねることによって、うなずきと受講者の集中度・覚醒度との関係をより詳細に解明する．それによって、学習者が遠隔授業に集中し、学習効果をあげられるようなデバイス／システムを検討する．
|
