研究課題
脳，身体，生理活動の個人間の同調は，コミュニケーションの「質」を反映する特徴量として，そのメカニズムと応用可能性に関心が寄せられている．しかしこれらの同調現象はこれまでモダリティ毎に個別に研究され，相互の関係は明らかにされていない．また多くの研究で同調現象は時間的に定常的な視点で扱われてきた．これに対して本研究は，動的な創造的コミュニケーションを対象に，参加者の脳活動，身体活動，生理信号を同時に計測し，マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにすることを狙う．計画初年度の本年度は，マルチモーダル計測のための装置を導入し，ネットワーク時間同期プロトコルにより計測タイミングを同期させる手法の導入・拡張と，複数人同時計測で個人間マルチモーダル同調ダイナミクスを評価するための分析手法を開発した．また，新型コロナウイルス感染症の影響のもとでも可能な遠隔コミュニケーション課題を設計し，実験を行った．既得の対面創造的コミュニケーション実験や集団音楽インタラクションのマルチモーダルデータに対しても新たな切り口で分析を進め，論文執筆や成果発表の準備をした．創造的コミュニケーションにおける発話特徴量の同調と心理的一体感（ラポール）および集団創造性との関係についての論文，およびスマートフォンを用いて多人数集団コミュニケーションを計測する手法でマルチモーダルセンシングにより発話・話者同定の精度を向上させる手法についての論文が，海外学術雑誌に掲載された．また，集団音楽インタラクション時の演奏者-聴衆間の同調ダイナミクスと音楽体験との関係についての分析結果や，企業で導入が進んでいる1on1ミーティングにおける発話・身体・脳活動の同調の相互関係，日常環境における認知的活動のウェアラブル脳計測装置によるモニタリングについての成果等を，国際会議および国内学会で発表した．
3: やや遅れている
新型コロナウイルス感染症の影響により，人との接触が大幅に制限されたため，対面での創造的コミュニケーションの実施が著しく困難となった．また，マルチモーダル計測タイミング同期システムの実装に必要な機器の一部についても納入が遅れた．予定していたイギリスからの協力研究者の招聘も延期をせざるを得なかった．
新型コロナウイルス感染症の動向の動向を見極めながら，状況に応じた実施項目の柔軟な調整を行う．とくに，本年度に開始した，遠隔で可能な実験設定への拡張を引き続き進める．対面実験の実施にあたっては，参加者の健康を第一に安全の確保に充分注意する．また，本研究課題の目的に流用できるパブリックデータの利用検討も進める．マルチモーダル計測タイミング同期システムの実装を急ぐ．海外への渡航や海外協力研究者の招聘については，今後の動向を見ながら安全確保のもと進めていく．
すべて 2021 2020 その他
すべて 国際共同研究 (1件) 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (4件) (うち国際学会 2件)
Speech Communication
巻: 129 ページ: 33～40
10.1016/j.specom.2021.03.001
Sensors
巻: 20 ページ: 2948～2948
10.3390/s20102948
Proceedings of 2020 13th International Conference on Human System Interaction
巻: n/a ページ: 249～254
10.1109/HSI49210.2020.9142689
