Coordination dynamics of neural, bodily, physiological activities and their relationship to creative interaction

• Project/Area Number: 20H03553
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 51020:Cognitive and brain science-related
• Research Institution: University of Toyama (2021-2022); Tokyo Institute of Technology (2020)
• Principal Investigator: 野澤 孝之 富山大学, 学術研究部工学系, 教授 (60370110)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Project Status: Completed (Fiscal Year 2022)
• Budget Amount: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000); Fiscal Year 2022: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2021: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2020: ¥10,400,000 (Direct Cost: ¥8,000,000、Indirect Cost: ¥2,400,000)
• Keywords: 創造的コミュニケーション / マルチモーダルセンシング / ハイパースキャニング / メタスタビリティ / 脳活動信号処理 / 創造的ミュニケーション

Outline of Research at the Start

脳活動，身体活動，生理活動の個人間の同調は，コミュニケーションの「質」を反映する特徴量として，そのメカニズムと応用可能性に関心が寄せられている．しかしこれらの同調現象はこれまでモダリティ毎に個別に研究されており，相互の関係は明らかにされていない．また多くの研究で同調現象は時間的に定常的な視点で扱われてきたことから，「同調度が高いほどコミュニケーションの質が良い／悪い」という単純な現象の記述に終始しがちであった．本研究では，動的な創造的コミュニケーションを対象に，参加者の脳活動，身体活動，生理信号を同時に計測し，マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにする．

Outline of Annual Research Achievements

脳，身体，生理活動の個人間の同調は，コミュニケーションの「質」を反映する特徴量として，そのメカニズムと応用可能性に関心が寄せられている．しかしこれらの同調現象はこれまでモダリティ毎に個別に研究され，相互の関係は明らかにされていない．また多くの研究で同調現象は時間的に定常的な視点で扱われてきた．これに対して本研究は，動的に変化する創造的コミュニケーション・インタラクションを対象に，参加者の脳・身体・生理活動を同時計測し，マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにするものである．
計画3年目(最終)の2022年度から新型コロナウイルス感染症の影響のため延長を申請し認められた2023年度は，マルチモーダル同時センシングの手法について，より幅広いセンシング情報の取り込み，多人数相互作用や遠隔コミュニケーションなどより幅広い場面に利用し易くする拡張，マルチモーダル情報をリアルタイムに評価しそれを当事者へのフィードバックに活用可能にする等の技術拡張を行った．対面および遠隔でのコミュニケーション／インタラクション実験を進め．既得のデータとともに分析を行った．とくに，これまで主な分析対象であった非言語的活動に加え，大規模言語モデルを用いた創造的コミュニケーションの言語的・意味的ダイナミクス分析も開発し，その有効性を確かめた．
コミュニケーションにおける笑顔表情の同調がもたらす効果についての論文，コミュニケーションにおける自身の非言語活動をアバター技術でフィードバックしメタ認知に働きかけることの効果についての論文が国際学術雑誌に掲載されたほか，プレプリントや多数の学会発表で成果を発表し，複数の発表について優秀講演賞も受賞した．

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)
• [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)
• [Int'l Joint Research] Imperial College London/Guildhall School of Music & Drama(英国)
• [Journal Article] Avatar-Based Feedback in Job Interview Training Impacts Action Identities and Anxiety (2024)
  • Author(s): Hosseini Sarinasadat、Quan Jingyu、Deng Xiaoqi、Miyake Yoshihiro、Nozawa Takayuki
  • Journal Title: IEEE Transactions on Affective Computing Volume: Early Access Issue: 3 Pages: 1-13
  • DOI: 10.1109/taffc.2024.3363835
  • Peer Reviewed / Open Access
• [Journal Article] Unravelling the relation between altruistic cooperativeness trait, smiles, and cooperation: a mediation analysis (2023)
  • Author(s): Deng Xiaoqi、Hosseini Sarinasadat、Miyake Yoshihiro、Nozawa Takayuki
  • Journal Title: Frontiers in Psychology Volume: 14
  • DOI: 10.3389/fpsyg.2023.1227266
  • Peer Reviewed / Open Access
• [Journal Article] Swinging, Fast and Slow: Multiscale Synchronisation Dynamics Reveals the Impact of an Improvisatory Approach to Performance on Music Experience (2023)
  • Author(s): Nozawa Takayuki、Sas Madalina I、Dolan David、Rajpal Hardik、Rosas Fernando、Timmermann Christopher、Mediano Pedro A. M.、Honda Keigo、Amano Shunnichi、Miyake Yoshihiro、Jensen Henrik J.
  • Journal Title: PsyArXiv (preprint server) Volume: cqxya Pages: 1-28
  • DOI: 10.31234/osf.io/cqxya
  • Open Access / Int'l Joint Research
• [Journal Article] Evaluation of Human Communication Using Multimodal Sensing and Interpersonal Synchronization (2021)
  • Author(s): 野澤 孝之
  • Journal Title: Journal of The Society of Instrument and Control Engineers Volume: 60 Issue: 6 Pages: 435-440
  • DOI: 10.11499/sicejl.60.435
  • NAID: 130008053525
  • ISSN: 0453-4662, 1883-8170
  • Year and Date: 2021-06-10
• [Journal Article] Encouragement of Turn-Taking by Real-Time Feedback Impacts Creative Idea Generation in Dyads (2021)
  • Author(s): Hosseini Sarinasadat、Deng Xiaoqi、Miyake Yoshihiro、Nozawa Takayuki
  • Journal Title: IEEE Access Volume: 9 Pages: 57976-57988
  • DOI: 10.1109/access.2021.3072790
  • Peer Reviewed / Open Access
• [Journal Article] Prefrontal inter-brain synchronization reflects convergence and divergence of flow dynamics in collaborative learning: a pilot study (2021)
  • Author(s): Takayuki Nozawa, Mutsumi Kondo, Reiko Yamamoto, Hyeonjeong Jeong, Shigeyuki Ikeda, Kohei Sakaki, Yoshihiro Miyake, Yasushige Ishikawa, Ryuta Kawashima
  • Journal Title: Frontiers in Neuroergonomics Volume: 2 Pages: 686596-686596
  • DOI: 10.3389/fnrgo.2021.686596
  • Peer Reviewed / Open Access
• [Journal Article] Incorporating Interpersonal Synchronization Features for Automatic Emotion Recognition from Visual and Audio Data during Communication (2021)
  • Author(s): Quan Jingyu、Miyake Yoshihiro、Nozawa Takayuki
  • Journal Title: Sensors Volume: 21 Issue: 16 Pages: 5317-5317
  • DOI: 10.3390/s21165317
  • Peer Reviewed / Open Access
• [Journal Article] The Relationship Between Turn-taking, Vocal Pitch Synchrony, and Rapport in Creative Problem-Solving Communication (2021)
  • Author(s): Yokozuka Takahiro、Miyamoto Hitoshi、Kasai Masatoshi、Miyake Yoshihiro、Nozawa Takayuki
  • Journal Title: Speech Communication Volume: 129 Pages: 33-40
  • DOI: 10.1016/j.specom.2021.03.001
  • Peer Reviewed / Open Access
• [Journal Article] Speech Discrimination in Real-World Group Communication Using Audio-Motion Multimodal Sensing (2020)
  • Author(s): Nozawa Takayuki、Uchiyama Mizuki、Honda Keigo、Nakano Tamio、Miyake Yoshihiro
  • Journal Title: Sensors Volume: 20 Issue: 10 Pages: 2948-2948
  • DOI: 10.3390/s20102948
  • Peer Reviewed / Open Access
• [Journal Article] Capturing individual differences in prefrontal activity with wearable fNIRS for daily use (2020)
  • Author(s): Nozawa Takayuki、Miyake Yoshihiro
  • Journal Title: Proceedings of 2020 13th International Conference on Human System Interaction Volume: n/a Pages: 249-254
  • DOI: 10.1109/hsi49210.2020.9142689
  • Peer Reviewed / Open Access
• [Presentation] 遠隔授業における学習者の集中度と教師-学習者間の同調との関係性 (2023)
  • Author(s): 青山隼人, 三宅美博, 野澤孝之
  • Organizer: 第35回自律分散システム・シンポジウム
• [Presentation] 言語モデルを用いた創造的コミュニケーションダイナミクス把握の試み (2023)
  • Author(s): 野澤孝之
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] コミュニケーション時の脳波計測を用いた個人間脳同調フィードバックの開発と効果の検証 (2023)
  • Author(s): 西村廉, 野澤孝之, 池田純起
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] 環境刺激としての中間色が学習に与える効果 (2023)
  • Author(s): 青木大河, 野澤孝之, 池田純起
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] fNIRSハイパーニューロフィードバックによる個人間脳同調の操作可能性とオンラインインタラクションへの作用 (2023)
  • Author(s): 伊藤寛竜, 野澤孝之, 池田純起
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] 記銘時の瞳孔反応による宣言的記憶の予測に外乱音楽刺激が及ぼす影響 (2023)
  • Author(s): 佐々木悠成, 野澤孝之, 池田純起
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] 視線活動の個人間相関フィードバックに基づく学習支援手法の開発 (2023)
  • Author(s): 嶋崎翔太, 野澤孝之, 池田純起
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] 事前の相互注視が教育コミュニケーションと脳同調に及ぼす効果の研究 (2023)
  • Author(s): 野田幸佑, 野澤孝之, 池田純起
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] Partner’s Gaze with Duchenne Smile in Social Interaction Promotes Successive Cooperative Decision (2022)
  • Author(s): Xiaoqi Deng, Hosseini Sarinasadat, Miyake Yoshihiro & Nozawa Takayuki
  • Organizer: HCI International 2022
  • Int'l Joint Research
• [Presentation] 遠隔教育における学習者の集中度と教師-学習者間の同調との関係性 (2021)
  • Author(s): 青山隼人, 三宅美博, 野澤孝之
  • Organizer: 日本教育工学会(JSET)研究会
• [Presentation] マルチモーダル同調に基づくインタラクション体験の評価と支援 (2021)
  • Author(s): 野澤孝之
  • Organizer: 科学技術と経済の会 センサー＆データフュージョン研究会
  • Invited
• [Presentation] 会話における真実の笑顔と作り笑顔の口の動きのダイナミックな特徴の違い (2021)
  • Author(s): Hosseini Sarinasadat, 鄧笑奇, 三宅美博, 野澤孝之
  • Organizer: 第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)
• [Presentation] 個人間同調センシングによる音楽感動体験の定量的評価に向けた試み (2021)
  • Author(s): 野澤孝之, 亘理誠夫, 武智真, 佐藤雅樹, 小川類, 深澤南土実, 中越亮佑, 橋本和雄, 三宅美博, 山本耕志
  • Organizer: 第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)
• [Presentation] 会話中における笑顔に伴う注視と視線の逸らしが後の協力行動に及ぼす影響 (2021)
  • Author(s): 鄧笑奇, Sarinasadat Hosseini, 三宅美博, 野澤孝之
  • Organizer: 第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)
• [Presentation] Multiscale performer-audience physical synchrony in joint music performance. (2020)
  • Author(s): Nozawa T, Dolan D, Rosas F, Rajpal H, Timmermann C, Mediano P, Prodanova S, Barracks N P, Giorgetti N, Ramos D, Honda K, Amano S, Miyake Y, Jensen H
  • Organizer: Conference on Complex Systems 2020 (CCS2020)
  • Int'l Joint Research
• [Presentation] Capturing individual differences in prefrontal activity with wearable fNIRS for daily use. (2020)
  • Author(s): Nozawa T, Miyake Y
  • Organizer: 13th International Conference on Human System Interaction HSI 2020
  • Int'l Joint Research
• [Presentation] 1on1 ミーティングにおける発話・身体・脳活動の関係性について (2020)
  • Author(s): 野澤孝之, 前田頼宣, 三宅美博
  • Organizer: 第21回計測自動制御学会システムインテグレーション部門講演会 (SI2020)
• [Presentation] 社会的協力とコミュニケーション時のダイナミックな笑顔表出との相互作用 (2020)
  • Author(s): 鄧笑奇，Sarinasadat Hosseini, 三宅美博, 野澤孝之
  • Organizer: 第21回計測自動制御学会システムインテグレーション部門講演会 (SI2020)