2020 Fiscal Year Annual Research Report
Estimation of body movement and its temporal pattern in communication using deep learning
| Project/Area Number |
18K11412
|
|---|
| Research Institution | Kanazawa Institute of Technology |
|---|
Principal Investigator |
山本 知仁 金沢工業大学, 工学部, 教授 (60387347)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | アクティブラーニング / スマートフォン / 加速度センサ / 身体動作 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では、現在広く普及しているスマートフォンの加速度センサを用いてリアルタイムに身体動作を計測し、深層学習的手法によって構築された識別器を用いることで、その内容を推定し、身体動作の時系列パターンからグループワークなどにおけるコミュニケーションの質を評価するための手法を確立することを目的としている。
1年目の研究で、グループワークに現れる身体動作のデータを別途計測し、深層学習を用いて学習を行った結果、コミュニケーションに関する動作については90％程度の精度で識別できることを明らかにしている。2年目では、予め用意したデータではなく実際のグループワークのデータを収集し解析を行った。結果として、身体動作の量が多いほど、成果の評価が高くなり、またコミュニケーションの主観的な評価も高くなることが明らかになった。これらの結果より、身体動作の量の大小と、身体動作の種類の組み合わせを用いることで、かなり良い精度で、グループワーク中のコミュニケーションの質を評価できることが示された。
最終年度は、2年目に取得したデータをさらに掘り下げる形で、身体動作のパターンの解析と、発話内容の分析についても行った。具体的には、計測された身体動作に対し、人手と深層学習的手法の両方によって身体動作の分類を行い、その出現頻度とパターンについての解析を行った。結果として、様々な身体動作が現れる中で、最終的なアウトカムズと最も関係のあるものは、うなづきの動作であることが示唆された。また、発話内容の解析結果からは、名詞の繰り返しがアウトカムズに最も影響があることが明らかになった。
以上の3年間の研究結果を総括すると、グループワークなどにおけるコミュニケーションの質の評価は、スマートフォンのセンサを用いることで可能であり、それは身体動作の量、および種類とその時間的な変化を捉えることで実現されるといえる。
|
Research Products
(4 results)
