2019 Fiscal Year Annual Research Report
System development for aggregating learners' expressive acts corresponding to mental states and feeding the results back to learners
| Project/Area Number |
18H01059
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
加藤 浩 放送大学, 教養学部, 教授 (80332146)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
葛岡 英明 東京大学, 大学院情報理工学系研究科, 教授 (10241796)
鈴木 栄幸 茨城大学, 人文社会科学部, 教授 (20323199)
寺田 努 神戸大学, 工学研究科, 教授 (70324861)
久保田 善彦 玉川大学, 教育学研究科, 教授 (90432103)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 教育工学 / 教育評価 / HCI / ウェアラブルコンピューティング / 協調学習 / 生体情報 |
|---|
| Outline of Annual Research Achievements |
研究討議場面における顔動画から、前年度開発したデータ収集システムを用いて、参加者の表出を手作業により判定を行い、それを基準として自己の心的状態(ネガティブ/ポジティブ)のリアルタイム申告のデータとの一致度を検討してみたところ、自己申告データには欠損（押し忘れ）やタイミングの遅れが多く、表出との対応はかならずしも十分とは言えないことがわかった．これは会話中に自己申告を行うことの本質的な困難性によるものと考えられる.そこで、自己申告データに代わって、顔動画の表情認識によって自動的に表出を捉えることを試みた．その結果、機械学習を用いてポジティブ・ネガティブ・ニュートラルの3種類に単純化した表出を認識する手法を開発した．具体的には，カメラから得た表情の特徴量とメガネ型モーションセンサにより得た頭部の動き特徴量を用いて表出の推定を行った．評価実験から，提案手法はF値で約0.45の認識精度が得られ，ポジティブな表出の大まかな変化を認識できることを示した．他方、ネガティブな表出についての認識精度は十分ではなかった．また，頭部の動き特徴量に比べて，表情の特徴量が表出の推定に効果的であることがわかった．
状況内評価の自動推定にはセンサデータと正解データの関係を学習する必要がある．しかし、表出の自動認識の精度がまだ不十分なので、依然表出の正解ラベリングには手作業を必要とする．それには多大な時間を要するため，長時間かつ多人数の会話時のラベル作成を想定した場合には現実的でない．その多大な労力を軽減するために、推定結果を提案ラベルとしてアノテーションツール上に提示することで，ラベリング支援を行う手法を開発した．評価実験から，提案手法はラベリングにかかる時間は増加してしまうものの，6人中5人の被験者でポジティブな評価のラベリング精度が向上することを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
被験者の自己申告によって表出の正解データを得る方法の信頼性が低いことが判明し、研究者が手作業で正解ラベルをつける方法をとらざるを得なかったため、データ処理に多大な時間を要した。
|
| Strategy for Future Research Activity |
当初の計画では、学習者自身が実践の最中にボタンを押してポジティブ/ネガティブを自己申告し、それを正解データとして利用する予定であったが、自己申告は欠損（押し忘れ）やタイミングの遅れが多く、正解データにできるほどの十分な信頼性がないことが判明した．そのため、 研究者が顔動画を見て手作業で正解ラベリングをすることになった．これに大きな工数がかかるため、ラベリング作業を支援するツールを開発したことにより、予定よりも方式開発に時間がかかった．それにより、機械学習による表情認識によって、表出を検出することはある程度できるようになったが、それがポジティブかネガティブかの判断についてはまだ誤りが多いことが分かった．
以上のことから、状況内評価を完全に自動認識するという目標を達成するのは非常に困難であることから、アプリケーションを次に述べるような、より実現可能性が高く有用性もある方向に軌道修正を行う．
今年度開発するアプリケーション：教育において①対面の授業、②テレビ会議システムを通したリアルタイムの遠隔授業、③ビデオ録画した授業、および④他の学習者の有無、という条件においては、講師の社会的存在感の程度が異なり、学習者の授業への集中度、リアクション、コミットメントの度合い、ひいては学習効果も変わってくる可能性がある．そこで本科研で開発した技術を用いて授業中の学習者の表出を分析し、 それらの条件が学習にどのような影響を及ぼすかを調査する．そして、その結果に基づいて、遠隔教育をより効果的にするデバイス/システムの検討を行う．
|
