• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Coordination dynamics of neural, bodily, physiological activities and their relationship to creative interaction

Research Project

Project/Area Number 20H03553
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 51020:Cognitive and brain science-related
Research InstitutionUniversity of Toyama (2021-2023)
Tokyo Institute of Technology (2020)

Principal Investigator

Nozawa Takayuki  富山大学, 学術研究部工学系, 教授 (60370110)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2022: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2021: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2020: ¥10,400,000 (Direct Cost: ¥8,000,000、Indirect Cost: ¥2,400,000)
Keywords創造的インタラクション / マルチモーダルセンシング / ハイパースキャニング / 生体信号処理 / コミュニケーション分析 / 機械学習 / ダイナミクス / インタラクション支援 / 創造的コミュニケーション / メタスタビリティ / 脳活動信号処理 / 創造的ミュニケーション
Outline of Research at the Start

脳活動,身体活動,生理活動の個人間の同調は,コミュニケーションの「質」を反映する特徴量として,そのメカニズムと応用可能性に関心が寄せられている.しかしこれらの同調現象はこれまでモダリティ毎に個別に研究されており,相互の関係は明らかにされていない.また多くの研究で同調現象は時間的に定常的な視点で扱われてきたことから,「同調度が高いほどコミュニケーションの質が良い/悪い」という単純な現象の記述に終始しがちであった.本研究では,動的な創造的コミュニケーションを対象に,参加者の脳活動,身体活動,生理信号を同時に計測し,マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにする.

Outline of Final Research Achievements

This study simultaneously measured brain activity, physical activity, and physiological signals to analyze dynamic synchronization phenomena between individuals. We examined creative verbal and non-verbal interactions in various contexts, focusing on synchronization across multiple modalities (brain, body, and physiology), their temporal dynamics, and interrelationships. The analysis clarified how these synchronizations impact group creativity, subjective experiences, and cooperative behavior. Additionally, in response to the COVID-19 pandemic, we developed technologies for remote synchronization evaluation, thus opening pathways for applications in educational settings and corporate environments. These advancements demonstrate the potential to enhance learning outcomes and improve communication effectiveness in face-to-face, remote, and hybrid scenarios.

Academic Significance and Societal Importance of the Research Achievements

本研究は,脳と身体の同調が創造性や協力行動に及ぼす影響を解明し,新たなコミュニケーション理解に貢献した.学術的には,マルチモーダル同調の動的解析が新たな研究領域を開拓し,心理学や神経科学における知見を深化させた.社会的には,教育現場での学習効果の向上や企業における効果的なミーティング手法の開発が期待される.また,遠隔コミュニケーション技術の進展により,リモート環境でも効果的な協力や創造活動が可能となり,社会全体の効率性と創造性の向上に寄与する.

Report

(4 results)
  • 2023 Final Research Report ( PDF )
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021 2020 Other

All Int'l Joint Research (3 results) Journal Article (10 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 8 results,  Open Access: 9 results) Presentation (18 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)

    • Related Report
      2020 Annual Research Report
  • [Journal Article] Avatar-Based Feedback in Job Interview Training Impacts Action Identities and Anxiety2024

    • Author(s)
      Hosseini Sarinasadat、Quan Jingyu、Deng Xiaoqi、Miyake Yoshihiro、Nozawa Takayuki
    • Journal Title

      IEEE Transactions on Affective Computing

      Volume: Early Access Issue: 3 Pages: 1-13

    • DOI

      10.1109/taffc.2024.3363835

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Unravelling the relation between altruistic cooperativeness trait, smiles, and cooperation: a mediation analysis2023

    • Author(s)
      Deng Xiaoqi、Hosseini Sarinasadat、Miyake Yoshihiro、Nozawa Takayuki
    • Journal Title

      Frontiers in Psychology

      Volume: 14

    • DOI

      10.3389/fpsyg.2023.1227266

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Swinging, Fast and Slow: Multiscale Synchronisation Dynamics Reveals the Impact of an Improvisatory Approach to Performance on Music Experience2023

    • Author(s)
      Nozawa Takayuki、Sas Madalina I、Dolan David、Rajpal Hardik、Rosas Fernando、Timmermann Christopher、Mediano Pedro A. M.、Honda Keigo、Amano Shunnichi、Miyake Yoshihiro、Jensen Henrik J.
    • Journal Title

      PsyArXiv (preprint server)

      Volume: cqxya Pages: 1-28

    • DOI

      10.31234/osf.io/cqxya

    • Related Report
      2022 Annual Research Report
    • Open Access / Int'l Joint Research
  • [Journal Article] Evaluation of Human Communication Using Multimodal Sensing and Interpersonal Synchronization2021

    • Author(s)
      野澤 孝之
    • Journal Title

      Journal of The Society of Instrument and Control Engineers

      Volume: 60 Issue: 6 Pages: 435-440

    • DOI

      10.11499/sicejl.60.435

    • NAID

      130008053525

    • ISSN
      0453-4662, 1883-8170
    • Year and Date
      2021-06-10
    • Related Report
      2021 Annual Research Report
  • [Journal Article] Encouragement of Turn-Taking by Real-Time Feedback Impacts Creative Idea Generation in Dyads2021

    • Author(s)
      Hosseini Sarinasadat、Deng Xiaoqi、Miyake Yoshihiro、Nozawa Takayuki
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 57976-57988

    • DOI

      10.1109/access.2021.3072790

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Prefrontal inter-brain synchronization reflects convergence and divergence of flow dynamics in collaborative learning: a pilot study2021

    • Author(s)
      Takayuki Nozawa, Mutsumi Kondo, Reiko Yamamoto, Hyeonjeong Jeong, Shigeyuki Ikeda, Kohei Sakaki, Yoshihiro Miyake, Yasushige Ishikawa, Ryuta Kawashima
    • Journal Title

      Frontiers in Neuroergonomics

      Volume: 2 Pages: 686596-686596

    • DOI

      10.3389/fnrgo.2021.686596

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Incorporating Interpersonal Synchronization Features for Automatic Emotion Recognition from Visual and Audio Data during Communication2021

    • Author(s)
      Quan Jingyu、Miyake Yoshihiro、Nozawa Takayuki
    • Journal Title

      Sensors

      Volume: 21 Issue: 16 Pages: 5317-5317

    • DOI

      10.3390/s21165317

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Relationship Between Turn-taking, Vocal Pitch Synchrony, and Rapport in Creative Problem-Solving Communication2021

    • Author(s)
      Yokozuka Takahiro、Miyamoto Hitoshi、Kasai Masatoshi、Miyake Yoshihiro、Nozawa Takayuki
    • Journal Title

      Speech Communication

      Volume: 129 Pages: 33-40

    • DOI

      10.1016/j.specom.2021.03.001

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Speech Discrimination in Real-World Group Communication Using Audio-Motion Multimodal Sensing2020

    • Author(s)
      Nozawa Takayuki、Uchiyama Mizuki、Honda Keigo、Nakano Tamio、Miyake Yoshihiro
    • Journal Title

      Sensors

      Volume: 20 Issue: 10 Pages: 2948-2948

    • DOI

      10.3390/s20102948

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Capturing individual differences in prefrontal activity with wearable fNIRS for daily use2020

    • Author(s)
      Nozawa Takayuki、Miyake Yoshihiro
    • Journal Title

      Proceedings of 2020 13th International Conference on Human System Interaction

      Volume: n/a Pages: 249-254

    • DOI

      10.1109/hsi49210.2020.9142689

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 遠隔授業における学習者の集中度と教師-学習者間の同調との関係性2023

    • Author(s)
      青山隼人, 三宅美博, 野澤孝之
    • Organizer
      第35回自律分散システム・シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 言語モデルを用いた創造的コミュニケーションダイナミクス把握の試み2023

    • Author(s)
      野澤孝之
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] コミュニケーション時の脳波計測を用いた個人間脳同調フィードバックの開発と効果の検証2023

    • Author(s)
      西村廉, 野澤孝之, 池田純起
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 環境刺激としての中間色が学習に与える効果2023

    • Author(s)
      青木大河, 野澤孝之, 池田純起
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] fNIRSハイパーニューロフィードバックによる個人間脳同調の操作可能性とオンラインインタラクションへの作用2023

    • Author(s)
      伊藤寛竜, 野澤孝之, 池田純起
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 記銘時の瞳孔反応による宣言的記憶の予測に外乱音楽刺激が及ぼす影響2023

    • Author(s)
      佐々木悠成, 野澤孝之, 池田純起
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 視線活動の個人間相関フィードバックに基づく学習支援手法の開発2023

    • Author(s)
      嶋崎翔太, 野澤孝之, 池田純起
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 事前の相互注視が教育コミュニケーションと脳同調に及ぼす効果の研究2023

    • Author(s)
      野田幸佑, 野澤孝之, 池田純起
    • Organizer
      第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Partner’s Gaze with Duchenne Smile in Social Interaction Promotes Successive Cooperative Decision2022

    • Author(s)
      Xiaoqi Deng, Hosseini Sarinasadat, Miyake Yoshihiro & Nozawa Takayuki
    • Organizer
      HCI International 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 遠隔教育における学習者の集中度と教師-学習者間の同調との関係性2021

    • Author(s)
      青山隼人, 三宅美博, 野澤孝之
    • Organizer
      日本教育工学会(JSET)研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] マルチモーダル同調に基づくインタラクション体験の評価と支援2021

    • Author(s)
      野澤孝之
    • Organizer
      科学技術と経済の会 センサー&データフュージョン研究会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 会話における真実の笑顔と作り笑顔の口の動きのダイナミックな特徴の違い2021

    • Author(s)
      Hosseini Sarinasadat, 鄧笑奇, 三宅美博, 野澤孝之
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 個人間同調センシングによる音楽感動体験の定量的評価に向けた試み2021

    • Author(s)
      野澤孝之, 亘理誠夫, 武智真, 佐藤雅樹, 小川類, 深澤南土実, 中越亮佑, 橋本和雄, 三宅美博, 山本耕志
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 会話中における笑顔に伴う注視と視線の逸らしが後の協力行動に及ぼす影響2021

    • Author(s)
      鄧笑奇, Sarinasadat Hosseini, 三宅美博, 野澤孝之
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] Multiscale performer-audience physical synchrony in joint music performance.2020

    • Author(s)
      Nozawa T, Dolan D, Rosas F, Rajpal H, Timmermann C, Mediano P, Prodanova S, Barracks N P, Giorgetti N, Ramos D, Honda K, Amano S, Miyake Y, Jensen H
    • Organizer
      Conference on Complex Systems 2020 (CCS2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Capturing individual differences in prefrontal activity with wearable fNIRS for daily use.2020

    • Author(s)
      Nozawa T, Miyake Y
    • Organizer
      13th International Conference on Human System Interaction HSI 2020
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 1on1 ミーティングにおける発話・身体・脳活動の関係性について2020

    • Author(s)
      野澤孝之, 前田頼宣, 三宅美博
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会 (SI2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 社会的協力とコミュニケーション時のダイナミックな笑顔表出との相互作用2020

    • Author(s)
      鄧笑奇,Sarinasadat Hosseini, 三宅美博, 野澤孝之
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会 (SI2020)
    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi