• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Coordination dynamics of neural, bodily, physiological activities and their relationship to creative interaction

Research Project

Project/Area Number 20H03553
Research InstitutionTokyo Institute of Technology

Principal Investigator

野澤 孝之  東京工業大学, 地球インクルーシブセンシング研究機構, 特任准教授 (60370110)

Project Period (FY) 2020-04-01 – 2023-03-31
Keywords創造的コミュニケーション / マルチモーダルセンシング / ハイパースキャニング / メタスタビリティ / 脳活動信号処理
Outline of Annual Research Achievements

脳,身体,生理活動の個人間の同調は,コミュニケーションの「質」を反映する特徴量として,そのメカニズムと応用可能性に関心が寄せられている.しかしこれらの同調現象はこれまでモダリティ毎に個別に研究され,相互の関係は明らかにされていない.また多くの研究で同調現象は時間的に定常的な視点で扱われてきた.これに対して本研究は,動的な創造的コミュニケーションを対象に,参加者の脳活動,身体活動,生理信号を同時に計測し,マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにすることを狙う.
計画初年度の本年度は,マルチモーダル計測のための装置を導入し,ネットワーク時間同期プロトコルにより計測タイミングを同期させる手法の導入・拡張と,複数人同時計測で個人間マルチモーダル同調ダイナミクスを評価するための分析手法を開発した.また,新型コロナウイルス感染症の影響のもとでも可能な遠隔コミュニケーション課題を設計し,実験を行った.既得の対面創造的コミュニケーション実験や集団音楽インタラクションのマルチモーダルデータに対しても新たな切り口で分析を進め,論文執筆や成果発表の準備をした.
創造的コミュニケーションにおける発話特徴量の同調と心理的一体感(ラポール)および集団創造性との関係についての論文,およびスマートフォンを用いて多人数集団コミュニケーションを計測する手法でマルチモーダルセンシングにより発話・話者同定の精度を向上させる手法についての論文が,海外学術雑誌に掲載された.また,集団音楽インタラクション時の演奏者-聴衆間の同調ダイナミクスと音楽体験との関係についての分析結果や,企業で導入が進んでいる1on1ミーティングにおける発話・身体・脳活動の同調の相互関係,日常環境における認知的活動のウェアラブル脳計測装置によるモニタリングについての成果等を,国際会議および国内学会で発表した.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウイルス感染症の影響により,人との接触が大幅に制限されたため,対面での創造的コミュニケーションの実施が著しく困難となった.また,マルチモーダル計測タイミング同期システムの実装に必要な機器の一部についても納入が遅れた.予定していたイギリスからの協力研究者の招聘も延期をせざるを得なかった.

Strategy for Future Research Activity

新型コロナウイルス感染症の動向の動向を見極めながら,状況に応じた実施項目の柔軟な調整を行う.とくに,本年度に開始した,遠隔で可能な実験設定への拡張を引き続き進める.対面実験の実施にあたっては,参加者の健康を第一に安全の確保に充分注意する.また,本研究課題の目的に流用できるパブリックデータの利用検討も進める.マルチモーダル計測タイミング同期システムの実装を急ぐ.海外への渡航や海外協力研究者の招聘については,今後の動向を見ながら安全確保のもと進めていく.

  • Research Products

    (8 results)

All 2021 2020 Other

All Int'l Joint Research (1 results) Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (4 results) (of which Int'l Joint Research: 2 results)

  • [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      Imperial College London/Guildhall School of Music & Drama
  • [Journal Article] The Relationship Between Turn-taking, Vocal Pitch Synchrony, and Rapport in Creative Problem-Solving Communication2021

    • Author(s)
      Yokozuka Takahiro、Miyamoto Hitoshi、Kasai Masatoshi、Miyake Yoshihiro、Nozawa Takayuki
    • Journal Title

      Speech Communication

      Volume: 129 Pages: 33~40

    • DOI

      10.1016/j.specom.2021.03.001

    • Peer Reviewed / Open Access
  • [Journal Article] Speech Discrimination in Real-World Group Communication Using Audio-Motion Multimodal Sensing2020

    • Author(s)
      Nozawa Takayuki、Uchiyama Mizuki、Honda Keigo、Nakano Tamio、Miyake Yoshihiro
    • Journal Title

      Sensors

      Volume: 20 Pages: 2948~2948

    • DOI

      10.3390/s20102948

    • Peer Reviewed / Open Access
  • [Journal Article] Capturing individual differences in prefrontal activity with wearable fNIRS for daily use2020

    • Author(s)
      Nozawa Takayuki、Miyake Yoshihiro
    • Journal Title

      Proceedings of 2020 13th International Conference on Human System Interaction

      Volume: n/a Pages: 249~254

    • DOI

      10.1109/HSI49210.2020.9142689

    • Peer Reviewed / Open Access
  • [Presentation] Multiscale performer-audience physical synchrony in joint music performance.2020

    • Author(s)
      Nozawa T, Dolan D, Rosas F, Rajpal H, Timmermann C, Mediano P, Prodanova S, Barracks N P, Giorgetti N, Ramos D, Honda K, Amano S, Miyake Y, Jensen H
    • Organizer
      Conference on Complex Systems 2020 (CCS2020)
    • Int'l Joint Research
  • [Presentation] Capturing individual differences in prefrontal activity with wearable fNIRS for daily use.2020

    • Author(s)
      Nozawa T, Miyake Y
    • Organizer
      13th International Conference on Human System Interaction HSI 2020
    • Int'l Joint Research
  • [Presentation] 1on1 ミーティングにおける発話・身体・脳活動の関係性について2020

    • Author(s)
      野澤孝之, 前田頼宣, 三宅美博
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会 (SI2020)
  • [Presentation] 社会的協力とコミュニケーション時のダイナミックな笑顔表出との相互作用2020

    • Author(s)
      鄧笑奇,Sarinasadat Hosseini, 三宅美博, 野澤孝之
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会 (SI2020)

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi