音声知覚における読唇情報利用度と外国語習熟度の関係

1997 年度 実績報告書

• 研究課題/領域番号: 08610076
• 研究機関: 金沢大学
• 研究代表者: 積山 薫 金沢大学, 文学部, 助手 (70216539)
• キーワード: 視聴覚音声知覚 / 視聴覚統合 / マガ-ク効果 / 言語間比較 / 第2言語習得 / 読唇

研究概要

発話中の口の形の映像と、それとは矛盾する音声を組み合わせて作られたビデオを見ると、音声の聞こえが口の形に影響されるという現象がおこる。この現象はマガ-ク効果と呼ばれ、人間が聴覚と視覚情報をいかに統合して音声を知覚するかを調べるパラダイムとして用いられている。先行研究では、日本人ではアメリカ人ほど強い視覚の効果はみられないが、いずれの被験者群でも、母国語の刺激より外国語の刺激に対してマガ-ク効果が強く生じると報告されている。本研究では、このような被験者の言語的要因が視聴覚統合様式に及ぼす影響を検討した。
まず実験1で、中国人被験者におけるマガ-ク効果の強さを、日本語刺激と英語刺激を用いて調べたところ、中国人は日本人と同様、アメリカ人よりもマガ-ク効果が生じにくく、聴覚重視の統合様式がうかがわれた。この実験では、日本に滞在している留学生を被験者としていたが、被験者の日本滞在期間とマガ-ク効果の強さとの間に中程度の正の相関が見いだされた。
実験2で、母国語の刺激より外国語の刺激に対してマガ-ク効果が強く生じるという「外国語効果」の有無を、中国人被験者と日本人被験者についで、中国語刺激と日本語刺激を用いて検討した。その結果、日本人被験者では外国語効果が再現されたが、中国人被験者では中国語刺激と日本語刺激との間に差はみられなかった。
実験3では、外国語習得によって音声知覚における視聴覚統合の様式が変化するかどうかを、中国人の留学生46名(23〜35歳)を被験者として検討した。マガ-ク効果の強さと、被験者の年齢、日本に来てからの年数、日本語の習熟度などとの関係を調べたところ、日本語の習熟度と滞日年数がマガ-ク効果の強さと関連をもっていることはうかがわれたが、年齢など他の要因の影響も大きく、剰余変数の統制なしに単純な結論は導けないことが明らかとなった。

研究成果

• [文献書誌] 積山 薫: "マガ-ク効果の強さを規定する刺激要因" 日本音響学会聴覚研究会資料. H-96-67. 1-8 (1996)
• [文献書誌] Sekiyama,K.Tohkura,Y., & Umeda,M.: "A few factors which affect the degree of incorporating lip-read information into speech perception." Proceedings of 4th International Conferences on Spoken Language processing.vol.3. 1481-1484 (1996)
• [文献書誌] Sekiyama,K.: "Inter-language differences and L2-related change in audiovisual speech perception." Proceedings of the papers submitted to the Acoustical Society of Japan. Third Joint Meeting of the Acoustical Societies of America & Japan.959-962 (1996)
• [文献書誌] Sekiyama,K.: "Cultural and linguistic factors in audiovisual speech processing:The McGurk effect in Chinese subjects." Perception & Psychophysics. 59(1). 73-80 (1997)
• [文献書誌] 積山 薫: "音声知覚における視聴覚融合をめぐって" 基礎心理学研究. 15. 122-127 (1997)
• [文献書誌] 積山 薫: "顔と声による音声知覚-視聴覚情報の相互作用" 電子情報通信学会技術報告. HIP・97-21. 83-90 (1997)
• [文献書誌] 積山 薫: "認知心理学の視点-理論と測定法" 長縄久生・椎名乾平・川崎恵理子(編) ナカニシヤ出版, 264 (1997)