2019 Fiscal Year Research-status Report
Estimation of body movement and its temporal pattern in communication using deep learning
| Project/Area Number |
18K11412
|
|---|
| Research Institution | Kanazawa Institute of Technology |
|---|
Principal Investigator |
山本 知仁 金沢工業大学, 工学部, 教授 (60387347)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / コミュニケーション / 身体動作 / グループワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、現在広く普及しているスマートフォンの加速度センサをを用いてリアルタイムに身体動作を計測し、深層学習的手法によって構築された識別器を用いることで、その内容を推定し、識別された動作の時系列パターンからグループワークなどにおけるコミュニケーションの質を評価する手法の確立を目的としている。
既に1年目の研究で、グループワークに現れる身体動作のデータを別途計測し、CNN（Convolution Neural Network）を用いて学習を行った結果、コミュニケーションに関する動作については85％程度の精度で識別できることを明らかにしている。その中で、2年目の今年度は、予め用意したデータではなく実際のグループワークのデータを収集し、その基本的なデータの持つ性質について深く調べることで、実環境で利用することができる結果を得ることを行った。
具体的には、3名からなるグループワークを10回程度実施し、これらのグループワークの成果と身体動作、また参加者のグループワーク中のコミュニケーションに対する主観評価と身体動作の関係について調べた。結果として、身体動作の量が多いほど、成果の評価が高くなり、またコミュニケーションの主観的な評価も高くなることが明らかになった。加えて、身体動作の種類がK-means法によるクラスタリングの結果により9程度あることが明らかになった。これらの結果より、身体動作の量の大小と、身体動作の種類の組み合わせを用いることで、かなり良い精度で、グループワーク中のコミュニケーションの質を評価できることが示された。
以上の結果は、本研究課題において最も重要な結果になると思われる。さらに、今回収集した実環境でのデータを用いて、識別器を学習することで、実環境での身体動作の特定をさらに高い精度でできることが期待され、最終年度に身体動作パターンの解析と合わせて実施する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題では、研究期間の1～2年目において、①グループワーク中に現れる身体動作の特定、②特定した身体動作に関する深層学習用データの作成、③作成したデータを用いた識別器の学習と識別精度の検証、④実データを用いた場合の識別率の検証を行うこととなっていた。1年目において既に③まで進んでおり、④についても1年目で予備的な検証を行うことができた。今年度は④を主として行い、具体的には実際のグループワークのデータを収集した。
実験では、3名10組分のグループワークを行ったが、この際、単に身体動作の精度を高くするためにデータ収集することを目的とせず、身体動作とグループワークの結果得られる成果や、参加者のコミュニケーションの質の関係を調べることで、グループワーク活動がそもそもどのようなものであるかを明らかにすることも目的とした。結果として、まず身体動作の量（本研究課題では活動量と呼んでいる）が多いほど、グループワークによって得られる成果が高くなること、また活動量が多いほど、参加者のコミュニケーションに対する主観評価が高くなることが明らかになった。これは、身体動作の種類もさることながら、基本的な身体動作の「大きさ」が、グループワーク中のコミュニケーションの質を評価することに有効であることを意味している。この成果は当初の想定を超えているものであり、本研究課題において極めて重要な結果である。
加えて、実グループワークのデータでは、K-means法によるクラスタリングを用いると9種類程度の身体動作があることが明らかになった。現在、この身体動作の内容を精査しており、今回得られた10回分のグループワークから学習データを作成し、当初の目的であった実データを用いた場合の識別率の検証を進めていく。このように本研究課題は、ここまで概ね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
研究期間の3年目では、本研究課題の中で残されている実データを用いた識別器の学習と実際のグループワーク中の身体動作の特定、また得られた身体動作のパターンからコミュニーションの評価を行っていくことを考えている。具体的には、グループワークの身体動作の時間的なパターンをある程度のまとまり（チャンク）に分け、その中で行われているコミュニケーションの内容を実際に話された内容をテキスト化し、それらに意味づけを行うなどして、適切に量子化しながら動作パターンと発話内容、グループワークの成果、参加者のコミュニケーションに対する主観評価の関係を明らかにしていく。このことで、どのようなコミュニケーションのパターンがグループワーク全体の評価に寄与しているのかを明らかにすることができると考えている。ここまで解析できれば、本研究課題の当初の目的は達成されたといえる。
さらに本研究では、このような解析結果をベースとしてスマートフォンから得られる値をリアルタイムに計測し、識別器を用いて身体動作の推定、さらにはコミュニケーション状況の推定まで行える情報システムの構築を目指していく。これが実現できれば、例えば大学のアクティブラーニング科目において、複数のグループがいる場合にファシリテータ役の教員が、一度に多くのグループの状況を把握できるようになり、効率よく授業を実施できるようになったりする。本研究で得られた研究成果の一つの工学的な応用として、先のような教育分野への展開があると同時に、本研究のアプローチをグループでのスポーツにも適用することを検討している。例えば、サッカーのようなチームスポーツにおいて、スマートフォンを体に密着させることで、プレー中の身体動作を計測することが可能となる。この時のプレーヤーの活動量や、身体動作のパターンを評価することで、チームスポーツの質も向上できるのではないかと考えている。
|
| Causes of Carryover |
国際会議への出張費が当初予定していたより少ない額で済んだため、年度末に学会にて発表する予定であった。しかしながら、学会での発表がコロナウイルス感染拡大防止のためキャンセルとなり、出張費が必要でなくなったため、最終年度に利用することとした。
|
Research Products
(3 results)
