2018 Fiscal Year Research-status Report
Estimation of body movement and its temporal pattern in communication using deep learning
| Project/Area Number |
18K11412
|
|---|
| Research Institution | Kanazawa Institute of Technology |
|---|
Principal Investigator |
山本 知仁 金沢工業大学, 工学部, 教授 (60387347)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / コミュニケーション / 身体動作 / グループワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、一般に普及しているスマートフォンの加速度センサを用いてリアルタイムに身体動作を計測し、深層学習によって構築された識別器を用いることで高い精度でその内容を推定し、その時系列パターンからグループワークなどにおけるコミュニケーションの質を評価するための手法を確立することを目的としている。その中で、本年度はまず30分程度のグループワークを複数行い、それらを録画した動画を確認することで、グループワーク中に現れる身体動作をピックアップした。具体的には、コミュニケーションに強く関連する５動作：「静止」，「拍手」，「挙手」，「頷き」，「振り向き」と、グループワーク中に現れる無意識的な５動作：「のび動作」，「足を組む」，「腕を組む」，「肘をつく」，「顔を触る」の10種類の動作を抽出した。続いてこれらの身体動作を識別するための識別器（本研究では、CNN：Convolution Neural Networkを用いている。）用の学習データを、実際に被験者にこれらの動作を行ってもらうことで作成した。
続いて、作成されたデータを用いてCNNを学習させ、その識別精度について検証した。結果として、コミュニケーションに強く関連する５動作に関しては85％程度、無意識的な５動作に関しては70％程度の精度で識別できることが明らかになった。これらの結果より、本研究で目的としていたグループワーク中の身体動作の識別に関しては、深層学習的なアプローチを用いることで、ある程度達成できる可能性が示唆された。
さらに今年度は、この学習済みの識別器を用いて実際のグループワーク中の身体動作を識別できるかについて予備的な検討を行った。結果として、コミュニケーションに強く関連する５動作については70％程度、無意識的な５動作については60％程度識別できることが明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題では、研究期間の1～2年目において、①グループワーク中に現れる身体動作の特定、②特定した身体動作に関する深層学習用データの作成、③作成したデータを用いた識別器の学習と識別精度の検証、④実データを用いた場合の識別率の検証を行うこととなっていた。その中で、1年目において③まではほぼ達成し、④についても今年度の内に予備的な検証を行うことができた。その意味においては、ここまで予定通りに研究を進めることができたと考えている。
一方、研究を進める中で対応すべき問題として明らかになってきているのは、データの量と質、またそれによる識別率の高低についてである。現在、個別に取得した学習データに関して、頷きのような比較的大きな身体動作については、高い識別率が得られている。一方で、微細な身体動作に関しては70％を切るものがあり、グループワーク中の身体動作を自動で識別していくには、やや低い率となっている。研究期間の2年目では、まずこの識別率を高くすることを考えている。具体的には、まずデータ数を増やすこと、また、理想的な環境で取得したデータだけでなく、実環境で得られるようなややノイジーなデータも合わせて学習に用いることを考えている。これらの対応で、さまざまな状態で計測されるグループワーク中の身体動作を高い率で識別できるのではないかと考えている。
また、計測装置の時間的な精度や、計測手法についても見直すことを考えている。具体的には、現在使用している計測装置を、計測の効率性を高めるために複数のグループワークを同時に計測できるように拡張することを考えている。合わせて、計測端末間の時間的なずれを小さくすることも考えている。これを実現することで、取得されるデータの量と質を高めることができる考えている。
|
| Strategy for Future Research Activity |
研究期間の2年目以降では、計画していたように、まず構築された識別器を用いて複数回のグループワークを計測し、身体動作の時系列パターンを収集することを考えている。この際、適切なチャンク（コミュニケーション行為のまとまり）を基に時系列パターンを抽出するために、音声認識ソフトなどを用いてグループワークのコーパスを作成し、発話タグなどを付与するなどしてセグメンテーションを行うことを予定している。これらの処理の後に身体動作の時系列パターンを選び、その類似度を計算することでカテゴリーの作成を実現していく。
続いてこれらのカテゴリーに意味づけ（納得、盛り上がり、議論など）を、分類された身体動作が元々持っている意味をベースとして行う。最後に意味づけされた時系列パターンとグループワークに関する評価のデータ（成果物や、内的・外的評価など）との関連を調べることで、身体動作のパターンが生み出す意味から、コミュニケーションの質を評価する手法を確立する。
以上の計画のうちグループワークの評価に関しては、今回、グループワークとして知識構成型ジクソー法というものを用いており、この手法では最後に学習成果をテストで評価できることから、この値を用いることを考えている。また、角速度センサの値を本研究課題の計測手法では用いているが、これらから得られる値の周波数パターンだけではなく、単純に振幅値を足し合わせたものも評価値としてもちいることで、グループワークの盛り上がり度合いを評価できると考えている。
|
| Causes of Carryover |
次年度使用額が生じた主たる理由として、当初参加を予定していた学会が、自身の大学がある金沢で開催され、そのための旅費が必要なくなったこと、また実験に参加する被験者の費用を少なくすることができたことが挙げられる。この差額に関しては、今年度、学会等で発表する際の費用として使用することを予定している。
|
