音声知覚における読唇情報利用度と外国語習熟度の関係

1996 Fiscal Year Annual Research Report

• Project/Area Number: 08610076
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Kanazawa University
• Principal Investigator: 積山 薫 金沢大学, 社会環境科学研究科, 助手 (70216539)
• Keywords: 視聴覚音声知覚 / マガ-ク効果 / 言語間比較 / 第2言語習得 / 読唇

Research Abstract

音声知覚は、一般に聴覚的な過程であると考えられがちであるが、対面した人の話し声を聞き取るさいには、唇の動きといった視覚情報(読唇情報)も処理されていることが知られている。このような読唇情報のはたらきを示す有効な方法に、ビデオで話者の音声と映像とを矛盾させて呈示するマガ-ク効果実験がある。
申請者らのこれまでの研究によれば、マガ-ク効果、すなわち矛盾した視覚情報によって音声知覚が影響を受ける現象の生起しやすさは,被験者の文化的背景によっても異なり、日本人ではアメリカ人ほど強い視覚の効果はみられない。以上のような比較言語的研究を進めるなかで、外国に暮らしている日本人に、視覚一辺倒の処理様式から視覚情報をも使う処理様式へと移行して行く傾向がうかがわれた。
本研究の目的は、音声知覚における視聴覚統合の様式が外国語習得によって変化するという仮説を検証することである。そのために、中国人被験者の日本滞在期間を独立変数とし、マガ-ク効果の強さを従属変数とする実験をおこなうこととし、今年度は、マガ-ク効果実験に用いる中国語の刺激を作成することを第一の目標とした。このため、中国の大学を卒業後に来日した金沢大学の留学生の中から選んだ話者2名を用い、中国語の単音節として/ba/,/pa/,/ma/,/da/,/ta/,/na/,/ga/,/ka/の第一声での発音を録音、録画し、映像と音声に必要な分析・加工をほどこした後、映像と音声が矛盾したペアと一致したペアを作成した。この間、予備的におこなった実験のデータの分析により、中国人被験者の日本滞在期間とマガ-ク効果の強さとの間に中程度の正の相関が見いだされた。

Research Products

• [Publications] Sekiyama,K.,Tohkura,Y.,& Umeda,M.: "A few factors which affect the degree of incorporating lip-read information into speech perception" Proceedings of 4 th International Conference on Spoken Language Processing.Vol.3. 1481-1484 (1996)
• [Publications] Sekiyama,K.: "Cultural and linyuistic factors in audiovisual speech processing : The McGurk effect in Chinese subjects." Perception & Psychophysics. 59(1). 73-80 (1997)