Cross-cultural study on audiovisual emotion perception by faces and voices

• Project/Area Number: 22830104
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Single-year Grants
• Research Field: Experimental psychology
• Research Institution: Waseda University
• Principal Investigator: TANAKA Akihiro 早稲田大学, 高等研究所, 助教 (80396530)
• Project Period (FY): 2010 – 2011
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥3,055,000 (Direct Cost: ¥2,350,000、Indirect Cost: ¥705,000); Fiscal Year 2011: ¥1,456,000 (Direct Cost: ¥1,120,000、Indirect Cost: ¥336,000); Fiscal Year 2010: ¥1,599,000 (Direct Cost: ¥1,230,000、Indirect Cost: ¥369,000)
• Keywords: 情動 / 多感覚知覚 / 文化間比較

Research Abstract

Our previous study found that multisensory integration of affective information is modulated by perceivers' cultural background. The purpose of this study is to examine the generalizability of our findings and to examine why cultural differences are observed in the multisensory perception of emotion by faces and voices. Results confirmed that Japanese people are more attuned than Dutch people to vocal processing in the multisensory perception of emotion, even when clear faces are used and even when participants pay attention to both faces and voices. Results also revealed that East Asians are more attuned than Westerners to vocal processing.

Research Products

• [Journal Article] Audiovisual Temporal Recalibration for Speech in Synchrony Perception and Speech Identification (2012)
  • Author(s): Asakawa, K., Tanaka, A., Imai, H.
  • Journal Title: Kansei Engineering International Journal Volume: 11 Issue: 1 Pages: 35-40
  • DOI: 10.5057/kei.11.35
  • NAID: 130002148637
  • ISSN: 2185-7865
  • Peer Reviewed
• [Journal Article] ワーキングメモリにおける音韻情報とピッチ情報の保持システム-リハーサルの観点からの検討- (2012)
  • Author(s): 宮澤史穂・田中章浩・西本武彦
  • Journal Title: 認知科学 Volume: 19 Pages: 122-130
  • NAID: 10030403472
  • Peer Reviewed
• [Journal Article] Effect of second language exposure on brain activity for language processing among preschoolers (2012)
  • Author(s): Souta Hidaka, Hiroshi Shibata, Michiyo Kurihara, Akihiro Tanaka, Akitsugu Konno, et al
  • Journal Title: Neuroscience Research Volume: 73 Issue: 1 Pages: 73-79
  • DOI: 10.1016/j.neures.2012.02.004
  • Peer Reviewed
• [Journal Article] 顔と声による情動の多感覚コミュニケーション (2011)
  • Author(s): 田中章浩
  • Journal Title: 認知科学 Volume: 18(3) Pages: 416-427
  • NAID: 10029590342
  • Peer Reviewed
• [Journal Article] The effects of anxiety on the interpretation of emotion in the face-voice pairs (2011)
  • Author(s): Koizumi, A., Tanaka, A., Imai, H., Hiramatsu, S., Hiramoto, E., Sato, T. & de Gelder, B
  • Journal Title: Experimental Brain Research Volume: Vol.213(2-3) Pages: 275-282
  • Peer Reviewed
• [Journal Article] Functional lateralization of speech processing in adults and children who stutter (2011)
  • Author(s): Sato, Y., Mori, K., Koizumi, T., Minagawa-Kawai, Y., Tanaka, A., Ozawa, E., Wakaba, Y
  • Journal Title: Frontiers in Psychology Volume: 2 Pages: 70-70
  • DOI: 10.3389/fpsyg.2011.00070
  • Peer Reviewed
• [Journal Article] The effects of anxiety on the interpretation of emotion in the face-voice pairs (2011)
  • Author(s): Koizumi, A., Tanaka, A., Imai, H., Hiramatsu, S., et al
  • Journal Title: Experimental Brain Research Volume: 213 Issue: 2-3 Pages: 275-282
  • DOI: 10.1007/s00221-011-2668-1
  • Peer Reviewed
• [Journal Article] Role of Articulatory Movements and Speech Feedback in Sentence Comprehension When Reading Orally (2011)
  • Author(s): 高橋麻衣子・田中章浩
  • Journal Title: The Japanese Journal of Educational Psychology Volume: 59 Issue: 2 Pages: 179-192
  • DOI: 10.5926/jjep.59.179
  • NAID: 130001340421
  • ISSN: 0021-5015, 2186-3075
  • Peer Reviewed
• [Journal Article] Emotional voice and emotional body postures influence each other independently of visual awareness (2011)
  • Author(s): Stienen, BMC., Tanaka, A., de Gelder, B.
  • Journal Title: PLoS ONE Volume: 6 Issue: 10 Pages: e25517-e25517
  • DOI: 10.1371/journal.pone.0025517
  • Peer Reviewed
• [Journal Article] Effects of pause duration and speech rate on sentence intelligibility in younger and older adult listeners (2011)
  • Author(s): Tanaka, A., Sakamoto, S., Suzuki, Y.
  • Journal Title: Acoustical Science and Technology Volume: 32 Issue: 6 Pages: 264-267
  • DOI: 10.1250/ast.32.264
  • NAID: 130001258017
  • ISSN: 0369-4232, 1346-3969, 1347-5177
  • Peer Reviewed
• [Journal Article] 黙読と音読での読解過程における認知資源と音韻表象の役割 (2011)
  • Author(s): 高橋麻衣子・田中章浩
  • Journal Title: 認知科学 Volume: 18 Pages: 595-603
  • NAID: 10030394005
  • Peer Reviewed
• [Journal Article] The Effects of Anxiety on the Interpretation of Emotion in the Face-Voice pairs (2011)
  • Author(s): Koizumi, A., Tanaka, A., et al.
  • Journal Title: Experimental Brain Research Volume: (in press)
  • Peer Reviewed
• [Journal Article] Audiovisual synchrony perception of simplified speech sounds heard as speech and non-speech (2011)
  • Author(s): Asakawa, K., Tanaka, A., Sakamoto, S., Iwaya, Y., Suzuki, Y.
  • Journal Title: Acoustical Science and Technology Volume: (in press)
  • NAID: 130000727466
  • Peer Reviewed
• [Journal Article] 文の読解処理過程における音韻表象の役割:語順情報と助詞の処理に注目して (2011)
  • Author(s): 高橋麻衣子・田中章浩
  • Journal Title: 認知心理学研究 Volume: (in press)
  • Peer Reviewed
• [Journal Article] I feel your voice : Cultural differences in the multisensory perception of emotion (2010)
  • Author(s): Tanaka, A., Koizumi., A., Imai, H., Hiramatsu, S., Hiramoto, E., & de Gelder., B.
  • Journal Title: Psychological Science Volume: vol.21 Pages: 1259-1262
  • Peer Reviewed
• [Journal Article] The change in perceptual synchrony between auditory and visual speech after exposure to asynchronous speech (2010)
  • Author(s): Tanaka, A., Asakawa, K., Imai, H.
  • Journal Title: NeuroReport Volume: 22 Issue: 14 Pages: 684-688
  • DOI: 10.1097/wnr.0b013e32834a2724
  • Peer Reviewed
• [Journal Article] I feel your voice : Cultural differences in the multisensory perception of emotion (2010)
  • Author(s): Tanaka, A., Koizumi, A., et al.
  • Journal Title: Psychological Science Volume: 21 Pages: 1259-1262
  • Peer Reviewed
• [Presentation] 顔と声による視聴覚情動認知の文化差 (2012)
  • Author(s): 田中章浩
  • Organizer: 日本発達心理学会第23回大会シンポジウム「視聴覚統合と情動,社会的認知の発達」
  • Place of Presentation: 名古屋国際会議場
  • Year and Date: 2012-03-11
• [Presentation] 顔と声による視聴覚情動認知の文化差 (2012)
  • Author(s): 田中章浩
  • Organizer: 日本発達心理学会
  • Place of Presentation: 名古屋国際会議場(愛知県)(招待講演)
  • Year and Date: 2012-03-11
• [Presentation] 顔と声のあらわす感情が不一致な刺激に対する感情判断および印象評定 (2012)
  • Author(s): 高木幸子・田部井賢一・田中章浩
  • Organizer: 日本音響学会聴覚研究会2月研究会
  • Place of Presentation: 那覇市IT創造館
  • Year and Date: 2012-02-06
• [Presentation] 表情と音声による基本6感情の認知:日蘭比較文化研究 (2012)
  • Author(s): 田中章浩・高木幸子・平松沙織・Beatrice de Gelder
  • Organizer: 第三回多感覚研究会
  • Place of Presentation: 東京大学
  • Year and Date: 2012-01-18
• [Presentation] 感情を含んだ表情と音声を組み合わせた日蘭刺激作成とその評価 (2012)
  • Author(s): 高木幸子・平松沙織・田中章浩
  • Organizer: 第三回多感覚研究会
  • Place of Presentation: 東京大学
  • Year and Date: 2012-01-18
• [Presentation] Recording and validation of audiovisual expressions by faces and voices (2011)
  • Author(s): Takagi, S., Hiramatsu, S., Huisin't Veld, EMJ., de Gelder B, & Tanaka, A.
  • Organizer: The 12th International Multisensory Research Forum
  • Place of Presentation: アクロス福岡
  • Year and Date: 2011-10-17
• [Presentation] The effects of anxiety on the recognition of multisensory emotional cues with different cultural familiarity (2011)
  • Author(s): Koizumi, A., Tanaka, A, Imai, H., Hiramoto, E., Hiramatsu, S., & de Gelder., B.
  • Organizer: The 12th International Multisensory Research Forum
  • Place of Presentation: アクロス福岡
  • Year and Date: 2011-10-17
• [Presentation] Recording and validation of audiovisual expressions by faces and voices (2011)
  • Author(s): Takagi, S., et al
  • Organizer: The 12th International Multisensory Research Forum
  • Place of Presentation: アクロス福岡(福岡県)
  • Year and Date: 2011-10-17
• [Presentation] Individual differences in the McGurk effect : An Examination with the Autism trait and Schizotypal Personality (2011)
  • Author(s): Ujiie, U., Asai, T., Tanaka, A., et al
  • Organizer: The 12th International Multisensory Research Forum
  • Place of Presentation: アクロス福岡(福岡県)
  • Year and Date: 2011-10-17
• [Presentation] The effects of anxiety on the recognition of multisensory emotional cues with different cultural familiarity (2011)
  • Author(s): Koizumi, A., Tanaka, A, et al
  • Organizer: The 12th International Multisensory Research Forum
  • Place of Presentation: アクロス福岡(福岡県)
  • Year and Date: 2011-10-17
• [Presentation] 健常者におけるマガーク効果の個人差−自閉症傾向及び統合失調症傾向による検討− (2011)
  • Author(s): 氏家悠太・浅井智久・田中章浩・浅川香・若林明雄
  • Organizer: 日本認知科学会第28回大会
  • Place of Presentation: 東京大学(東京都)
  • Year and Date: 2011-09-24
• [Presentation] 表情と音声による情動の多感覚コミュニケーションにおける文化差 (2011)
  • Author(s): 田中章浩
  • Organizer: 日本心理学会第75回大会ワークショップ「多感覚コミュニケーション機能の発達と文化・言語による特殊化」
  • Place of Presentation: 日本大学
  • Year and Date: 2011-09-17
• [Presentation] 音声と表情による情動コミュニケーション (2011)
  • Author(s): 田中章浩
  • Organizer: 日本心理学会第75回大会ワークショップ「メディア理解のための基礎心理学」
  • Place of Presentation: 日本大学
  • Year and Date: 2011-09-17
• [Presentation] 知覚・認知研究者からみた情動認知の文化差 (2011)
  • Author(s): 田中章浩
  • Organizer: 日本心理学会第75回大会ワークショップ「文化比較で知りたいこと・わかること-認知心理学研究における比較文化アプローチの役割-」
  • Place of Presentation: 日本大学
  • Year and Date: 2011-09-17
• [Presentation] 音声と表情による情動コミュニケーション (2011)
  • Author(s): 田中章浩
  • Organizer: 日本心理学会第75回大会ワークショップ「メディア理解のための基礎心理学」
  • Place of Presentation: 日本大学(東京都)(招待講演)
  • Year and Date: 2011-09-17
• [Presentation] 知覚・認知研究者からみた情動認知の文化差 (2011)
  • Author(s): 田中章浩
  • Organizer: 日本心理学会第75回大会WS「文化比較で知りたいこと・わかること-認知心理学研究における比較文化アプローチの役割-」
  • Place of Presentation: 日本大学(東京都)(招待講演)
  • Year and Date: 2011-09-17
• [Presentation] 音楽と言語情報の短期的な保持システム-リハーサルの観点からの検討- (2011)
  • Author(s): 宮澤史穂・田中章浩・西本武彦
  • Organizer: 日本心理学会第75回大会
  • Place of Presentation: 日本大学(東京都)
  • Year and Date: 2011-09-17
• [Presentation] 音声による情動表現の認知-基本6感情と高次感情を用いて- (2011)
  • Author(s): 田中章浩・大河原聡・外谷健司・渡邊克巳
  • Organizer: 日本心理学会第75回大会
  • Place of Presentation: 日本大学
  • Year and Date: 2011-09-16
• [Presentation] 感情を含んだ表情と音声を組み合わせた日蘭刺激作成とその評価 (2011)
  • Author(s): 高木幸子・平松沙織・田中章浩
  • Organizer: 日本心理学会第75回大会
  • Place of Presentation: 日本大学
  • Year and Date: 2011-09-16
• [Presentation] 表情と音声による情動の多感覚コミュニケーションにおける文化差 (2011)
  • Author(s): 田中章浩
  • Organizer: 日本心理学会第75回大会ワークショップ「多感覚コミュニケーション機能の発達と文化・言語による特殊化」
  • Place of Presentation: 日本大学(東京都)(招待講演)
  • Year and Date: 2011-09-16
• [Presentation] 感情を含んだ表情と音声を組み合わせた日蘭刺激作成とその評価 (2011)
  • Author(s): 高木幸子・平松沙織・田中章浩
  • Organizer: 日本心理学会第75回大会
  • Place of Presentation: 日本大学(東京都)
  • Year and Date: 2011-09-16
• [Presentation] 音声による情動表現の認知-基本6感情と高次感情を用いて- (2011)
  • Author(s): 田中章浩・大河原聡・外谷健司・渡邊克巳
  • Organizer: 日本心理学会
  • Place of Presentation: 日本大学(東京都)
  • Year and Date: 2011-09-15
• [Presentation] 表情と音声による視聴覚情動認知の文化間比較 (2011)
  • Author(s): 田中章浩
  • Organizer: 日本学術会議・公開シンポジウム「心の先端研究への扉」
  • Place of Presentation: 熊本大学
  • Year and Date: 2011-07-30
• [Presentation] 表情と音声による視聴覚情動認知の文化間比較 (2011)
  • Author(s): 田中章浩
  • Organizer: 日本学術会議・公開シンポジウム「心の先端研究への扉」
  • Place of Presentation: 熊本大学(熊本県)(招待講演)
  • Year and Date: 2011-07-30
• [Presentation] 音楽と言語情報の短期的な保持システム-保持容量の観点からの検討- (2011)
  • Author(s): 宮澤史穂・田中章浩・西本武彦
  • Organizer: 日本音楽知覚認知学会2011年春季研究発表会
  • Place of Presentation: 京都市立芸術大学(京都府)
  • Year and Date: 2011-06-05
• [Presentation] 表情と音声による情動表現の多感覚知覚 (2011)
  • Author(s): 田中章浩
  • Organizer: 「人間理解のための認知適応科学の創成」プロジェクト講演会
  • Place of Presentation: 千葉大学(招待講演)
  • Year and Date: 2011-02-06
• [Presentation] 視聴覚音声認知の比較文化・比較言語研究 (2011)
  • Author(s): 田中章浩
  • Organizer: 理化学研究所Emotion Seminar
  • Place of Presentation: 理化学研究所(招待講演)
  • Year and Date: 2011-01-13
• [Presentation] 多感覚的に解読する相手の"真意"～顔と声による視聴覚情動認知の比較文化研究 (2010)
  • Author(s): 田中章浩
  • Organizer: 電子情報通信学会ヒューマン情報処理研究会・日本バーチャルリアリティ学会第16回VR心理学研究会
  • Place of Presentation: 長崎総合科学大学
  • Year and Date: 2010-11-13
• [Presentation] 多感覚的に解読する相手の"真意"～顔と声による視聴覚情動認知の比較文化研究 (2010)
  • Author(s): 田中章浩
  • Organizer: 電子情報通信学会ヒューマン情報処理研究会
  • Place of Presentation: 長崎総合科学大学(招待講演)
  • Year and Date: 2010-11-13
• [Presentation] The Effects of Anxiety on the Perception of Emotion in the Face and Voice (2010)
  • Author(s): Koizumi., A., Tanaka, A., Imai, H., Hiramatsu, S., Hiramoto, E., & Sato, T., & de Gelder B
  • Organizer: Proceedings of the International Conference on Auditory-Visual Speech Processing 2010
  • Place of Presentation: ザ・プリンス箱根
  • Year and Date: 2010-10-02
• [Presentation] The effects of anxiety on the perception of emotion in the face and voice (2010)
  • Author(s): Koizumi, A., Tanaka, A., et al.
  • Organizer: International Conference on Auditory-Visual Speech Processing 2010
  • Place of Presentation: 箱根
  • Year and Date: 2010-10-02
• [Presentation] Cross-Cultural Differences in the Multisensory Perception of Emotion (2010)
  • Author(s): Tanaka, A., Koizumi., A., Imai, H., Hiramatsu, S., Hiramoto, E., & de Gelder., B
  • Organizer: Proceedings of the International Conference on Auditory-Visual Speech Processing 2010
  • Place of Presentation: ザ・プリンス箱根
  • Year and Date: 2010-10-01
• [Presentation] Cross-Cultural Differences in the Multisensory Perception of Emotion (2010)
  • Author(s): Tanaka, A., Koizumi, A., et al.
  • Organizer: International Conference on Auditory-Visual Speech Processing 2010
  • Place of Presentation: 箱根
  • Year and Date: 2010-10-01
• [Presentation] 顔と声による視聴覚情動認知の文化間比較 (2010)
  • Author(s): 田中章浩
  • Organizer: 認知・感情心理学特別研究会
  • Place of Presentation: 京都大学
  • Year and Date: 2010-09-23
• [Presentation] 顔と声による視聴覚情動認知の文化間比較 (2010)
  • Author(s): 田中章浩
  • Organizer: 認知・感情心理学特別研究会
  • Place of Presentation: 京都大学(招待講演)
  • Year and Date: 2010-09-23
• [Presentation] 顔と声による視聴覚情動認知の文化間比較 (2010)
  • Author(s): 田中章浩, 小泉愛, 今井久登, 平本絵里子, 平松沙織, Beatrice de Gelder
  • Organizer: 日本心理学会第74回大会
  • Place of Presentation: 大阪大学
  • Year and Date: 2010-09-20
• [Presentation] 日本人は声重視:顔と声による情動認知の文化間比較 (2010)
  • Author(s): 田中章浩, 小泉愛, 今井久登, 平本絵里子, 平松沙織, Beatrice de Gelder
  • Organizer: 日本認知心理学会第8回大会
  • Place of Presentation: 西南学院大学
  • Year and Date: 2010-05-30
• [Book] 「マガーク効果」西本武彦(編)「認知心理学ラボラトリ」(第2章) (2012)
  • Author(s): 田中章浩
  • Publisher: 弘文堂
• [Book] 「顔と声による感情認知」西本武彦(編)「認知心理学ラボラトリ」(第2章) (2012)
  • Author(s): 田中章浩
  • Publisher: 弘文堂
• [Book] 「認知心理学ラボラトリー」(編集、および第2章、第3章、第13章の執筆担当) (2012)
  • Author(s): 西本武彦(編著)
  • Total Pages: 261
  • Publisher: 弘文堂
• [Remarks]
  • URL: http://akihirotanaka.web.fc2.com/
• [Remarks]
  • URL: http://akihirotanaka.web.fc2.com
• [Remarks]
  • URL: http://www.waseda.jp/wias/researchers/plofile/prof_a_tanaka.html