2018 Fiscal Year Annual Research Report
System development for aggregating learners' expressive acts corresponding to mental states and feeding the results back to learners
| Project/Area Number |
18H01059
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
加藤 浩 放送大学, 教養学部, 教授 (80332146)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺田 努 神戸大学, 工学研究科, 教授 (70324861)
葛岡 英明 筑波大学, システム情報系, 教授 (10241796)
鈴木 栄幸 茨城大学, 人文社会科学部, 教授 (20323199)
久保田 善彦 宇都宮大学, 教育学部, 教授 (90432103)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 教育工学 / 教育評価 / HCI / ウェアラブルコンピューティング / 協調学習 |
|---|
| Outline of Annual Research Achievements |
議論時にリアルタイムで参加者の表出データを取得するために次のような実験装置を開発した．実験装置は，議論の当事者自身がポジティブ/ネガティブな心的状態かどうかを自己申告するためのワイヤレス押しボタン（bluetooth接続）とそれを収集・記録・集計するためのスマホアプリ，頭部の動きを検知するモーションセンサーと瞬きを検知する眼電位センサーを内蔵する眼鏡型デバイス（JINS MEME）とそのデータを収集・記録・集計するためのスマホアプリ，心電位計とモーションセンサーを内蔵する心拍センターとそのデータを収集・記録・集計するためのスマホアプリ，および動作主の表情をとらえるビデオカメラ（スマホ）からなる．
上記実験装置を用いて研究討議の場面からデータを取得し，分析した．動作主の顔動画から人手でポジティブ/ネガティブと分類した表出データと，動作主本人が押しボタンによって申告したポジティブ/ネガティブの心的状態との一致度を調べたところ，評価基準を甘めに見積もっても74～90％程度の一致率しかなく，自己申告データを機械学習のための教師データとして用いるには精度が不十分だということが判明した．しかも，押しボタンを押すという行為が議論への没頭の妨げになり，押すか押さないかの判断やタイミングもむずかしいということが分かった．このため，自己申告データではなく，表情を分析するソフトを用いてポジティブ/ネガティブの判断ができるかどうかを検証してみることにした．
今後は表情分析ソフトまたは人手による解析データを教師データとして，主として眼鏡型デバイスから動作主のポジティブ/ネガティブの状態を推測することを目標に研究開発する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
データ収集システムを構築し，実際にデータを収集して自己申告による心的状態と表出との関係について明らかにした．その結果，自己申告では表出の推定精度が低いことが分かったが，その可能性はもともと想定していた．
|
| Strategy for Future Research Activity |
実用化を考えた場合，討議や授業を行っている間，常にカメラで表情の動画撮影を行うということはあまり現実的ではないので，帽子や眼鏡などに取り付けたモーションセンサーから得られる頭部動作のデータからリアルタイムで表出（ポジティブ/ネガティブ）の認識を行うことを目標とする．
それを学習させるために，教師データとして正しい表出のラベル付けを行う必要があるが，当初想定したボタン押下による表出の自己申告の基づくラベル付けでは十分な精度が得られず，また実際の運用が困難であることが分かったため，表情認識ソフトウェアを利用して表出のラベル付けをすることを試みる．表情認識ソフトウェアでも精度が不十分だった場合には，手作業によって認識精度を高める方策を考える．
|
