オンライン・コミュニケーションにおける視聴覚統合の時空間特性

• Project/Area Number: 23K22377
• Project/Area Number (Other): 22H01106 (2022-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2022-2023)
• Section: 一般
• Review Section: Basic Section 10040:Experimental psychology-related
• Research Institution: Tokyo Woman's Christian University
• Principal Investigator: 田中 章浩 東京女子大学, 現代教養学部, 教授 (80396530)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000); Fiscal Year 2025: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000); Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2022: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
• Keywords: コミュニケーション / オンライン / 視聴覚統合 / 時空間 / 感情 / 時空間特性

Outline of Research at the Start

Zoom等のウェブ会議システムを利用したオンラインでのコミュニケーション場面では，音声と映像にタイミング差や速度差が生じたり，映像のサイズや解像度が十分ではなかったりすることも多い。本研究では，このような最適ではない状況における人間の視聴覚統合の時空間特性を言語理解と感情知覚の両面から検討する。

Outline of Annual Research Achievements

Zoom等のウェブ会議システムを利用したオンラインでのコミュニケーション場面では，音声と映像にタイミング差や速度差が生じたり，映像のサイズや解像度が十分ではなかったりすることも多い。本研究では，このような最適ではない状況における人間の視聴覚統合の時空間特性を言語理解と感情知覚の両面から検討する。2年目である令和5年度は，研究1および研究2を中心に検討を進め，視聴覚の時間・空間操作が言語理解および感情知覚に及ぼす影響について，日本人およびオランダ人の参加者を対象とした実験を実施した。

研究1-3では言語理解における視聴覚の時間特性について検討した。映像と音声のタイミング差および速度差を操作して，人物が説明文を発話している動画を呈示し，視聴後に人物の発話内容に関する質問に回答させた。研究1-4では言語理解における視聴覚の空間特性について検討した。話者の表示サイズおよび解像度を操作して，人物が説明文を発話している動画を呈示し，視聴後に人物の発話内容に関する質問に回答させた。実験の結果，視聴覚のタイミング差の拡大と画像の縦横幅の縮小に関しては映像の利得効果が早い段階で消失する一方で，速度差の拡大と解像度の低下に対しては頑健で，速度差は音声伸長120％であっても映像による利得効果が確認され，解像度は量子化50×50ボクセルであっても映像の利得効果が確認された。

研究2ではオランダ・ライデン大学・Mariska Kret教授の研究室に滞在して，オランダ人参加者を対象に日本人参加者と同様の実験を実施した。感情知覚では時間特性を操作すると日本人には悪影響が大きく，空間特性を操作するとオランダ人に悪影響が大きいとの仮説を検証した結果，おおむね仮説を支持する結果が得られた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本研究では，最適ではない状況における人間の視聴覚統合の時空間特性を言語理解と感情知覚の両面から検討している。研究協力者との議論を効率的に推進するため，Slackを活用している。実験の準備及び実施にあたっては研究補助者に謝金を支給し，効率的に推進している。その結果として，これまで大きな問題なく，当初の計画以上に進展している。3項目のうち，項目1および項目2の検討が完了し，項目3も2024年度で終了するめどが立っている。

Strategy for Future Research Activity

ここまで当初の計画以上に進展しているため，2024年度には，2025年度に予定していた項目も先行して実施する予定である。

Research Products

• [Int'l Joint Research] ミシガン大学(米国)
• [Int'l Joint Research] ライデン大学(オランダ)
• [Int'l Joint Research] ライデン大学(オランダ)
• [Int'l Joint Research] ミシガン大学(米国)
• [Journal Article] ヒューマンコミュニケーション研究から見る未来のかたち (2024)
  • Author(s): 新井田統・小森智康・酒向慎司・田中章浩・布川清彦
  • Journal Title: 電子情報通信学会誌 Volume: 107 Pages: 237-243
• [Journal Article] Effects of Humans’ and Robots’ Multisensory Emotional Expressions by Body language and Voice on Human Altruistic Behavior (2023)
  • Author(s): 澤田佳子・河原美彩子・田中章浩
  • Journal Title: Transactions of Japan Society of Kansei Engineering Volume: 22 Issue: 4 Pages: 405-416
  • DOI: 10.5057/jjske.TJSKE-D-23-00024
  • ISSN: 1884-0833, 1884-5258
  • Peer Reviewed / Open Access
• [Journal Article] Touch and voice have different advantages in perceiving positive and negative emotions (2023)
  • Author(s): Oya Rika、Tanaka Akihiro
  • Journal Title: i-Perception Volume: 14 Issue: 2 Pages: 1-12
  • DOI: 10.1177/20416695231160420
  • Peer Reviewed / Open Access
• [Journal Article] Facial mimicry depends on the emotion we recognize in others’ faces (2023)
  • Author(s): Nakamura Anna Kanaki、Tanaka Akihiro
  • Journal Title: PsyArXiv Volume: - Pages: 1-36
  • DOI: 10.31234/osf.io/t2sqh
  • Open Access
• [Journal Article] The interaction of emotional information from the voice and touch (2022)
  • Author(s): Oya Rika、Tanaka Akihiro
  • Journal Title: Acoustical Science and Technology Volume: 43 Issue: 5 Pages: 291-293
  • DOI: 10.1250/ast.43.291
  • ISSN: 0369-4232, 1346-3969, 1347-5177
  • Year and Date: 2022-09-01
  • Peer Reviewed / Open Access
• [Journal Article] Cross-cultural similarity and cultural specificity in the emotion perception from touch. Emotion. (2022)
  • Author(s): Oya, R. & Tanaka, A.
  • Journal Title: Emotion Volume: - Issue: 5 Pages: 1400-1409
  • DOI: 10.1037/emo0001086
  • Peer Reviewed / Open Access
• [Presentation] The Prototypical Expressions Can Facilitate the Perception of Various Positive Emotions through Face, Voice, and Touch (2023)
  • Author(s): Oya, R., & Tanaka, A.
  • Organizer: The 21st International Multisensory Research Forum
  • Int'l Joint Research
• [Presentation] Immigration Modulates Audiovisual Emotion Integration in Adults: The Effect of the Host Culture and Migration itself (2023)
  • Author(s): Nakamura, A. K., Yamamoto, H. W., & Tanaka, A.
  • Organizer: The 21st International Multisensory Research Forum
  • Int'l Joint Research
• [Presentation] Are There Associations Between Voice and Color? (2023)
  • Author(s): Kuwa, M., & Tanaka, A.
  • Organizer: the Society for Applied Research in Memory and Cognition (SARMAC XIV)
  • Int'l Joint Research
• [Presentation] アンドロイドロボットによる身体・音声表現からの高次感情の知覚 (2023)
  • Author(s): 山本寿子・小川浩平・窪田智徳・勝間萌衣・山﨑美鈴・港隆史・石黒浩・田中章浩
  • Organizer: 日本認知科学会第40回大会
• [Presentation] The Vocal Affective Communication in Radio-Listeners (2023)
  • Author(s): Kuwa, M., & Tanaka, A.
  • Organizer: 令和4年度電気通信研究所共同プロジェクト研究発表会
• [Presentation] タッチ，音声，および表情からのポジティブ感情の知覚 (2023)
  • Author(s): 大屋里佳・田中章浩
  • Organizer: 第13回多感覚研究会
• [Presentation] The perception of positive emotion from face, voice, and touch (2022)
  • Author(s): Oya, R., & Tanaka, A.
  • Organizer: Conference of the International Society for Research on Emotion (ISRE22)
  • Int'l Joint Research
• [Presentation] 身体と声色からの視聴覚感情知覚の発達的変化 (2022)
  • Author(s): 山本寿子・田中章浩
  • Organizer: 日本心理学会第86回大会
• [Presentation] ラジオ聴取経験が及ぼす音声感情知覚への影響 (2022)
  • Author(s): 鍬真衣・田中章浩
  • Organizer: 日本音響学会第148回(2022年秋季)研究発表会
• [Presentation] 非言語的な発声によるポジティブ感情の表出と知覚 (2022)
  • Author(s): 大屋里佳・田中章浩
  • Organizer: 日本音響学会第148回(2022年秋季)研究発表会
• [Book] 顔を聞き、声を見る: 私たちの多感覚コミュニケーション (2022)
  • Author(s): 田中章浩
  • Total Pages: 268
  • Publisher: 共立出版
  • ISBN: 9784320094697
• [Book] 図説 視覚の事典 (2022)
  • Author(s): 田中章浩, 他（分担執筆）, 日本視覚学会(編)
  • Total Pages: 5
  • Publisher: 朝倉書店
  • ISBN: 9784254102949
• [Remarks] 田中章浩研究室
  • URL: https://tanakalab.sakura.ne.jp/