Estimation of body movement and its temporal pattern in communication using deep learning

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11412
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: Yamamoto Tomohito 金沢工業大学, 工学部, 教授 (60387347)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: アクティブラーニング / スマートフォン / 加速度センサ / 身体動作 / 深層学習

Outline of Final Research Achievements

Active learning has been gradually focused on in recent years and introduced in various education fields. In this active learning, it is necessary to evaluate the interaction properly at real time and improve it. In this research project, we measured and analyzed the body movement of students in group work using the sensors on smartphone. Also, we evaluated the outcomes and subjective communication quality of group work. By analyzing these three relations, there are positive correlations between the amount of body movement and the outcomes, also the evaluation of communication of group work. In addition, there is relation between outcomes and temporal pattern of body movements, and also spoken words, if the explanation become more detail and nodding appear more frequently, the outcomes become better. These results show that it is possible to evaluate the learning activity of students at real time in group work by using smartphones.

Free Research Field

ヒューマンコンピュータインタラクション

Academic Significance and Societal Importance of the Research Achievements

アクティブラーニング、その中でもグループワークは、その教育効果の高さから現在、小学校から大学まで幅広く導入されるようになっているが、その教育効果を高めるためには、教員が適切にファシリテーションを行う必要があり、教員によってはそれが困難であること、また対応可能な教員でも学習者の数が増えてくると適切にファシリテーションを行うことが難しいという問題があった。今回の研究成果を利用すれば、現在ほとんどの学生が有しているスマートフォンを用いて、グループワーク中の学生の様子をリアルタイムに評価できるようになり、学びの質を向上せることが可能となると共に、教員の負担を軽減することが可能になると考えられる。