難聴耳の音声認知における聴覚、視覚入力の相互作用とその可塑性に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11671668
• Research Institution: Tohoku University
• Principal Investigator: 川瀬 哲明 東北大学, 医学部・附属病院, 講師 (50169728)
• Co-Investigator(Kenkyū-buntansha): 鈴木 陽一 東北大学, 電気通信研究所, 教授 (20143034)
• Keywords: マガーク効果 / 音声認識 / マルチモーダリティー

Research Abstract

音声認識においては、耳からの聴覚情報と目からの視覚情報が統合的に働きえるが、聴覚、視覚情報の相互作用の一つとして、マガーク効果)が知られている。本現象は、正常耳で報告され、人種、言語の違いの影響などについて検討されてきたが、難聴耳における、マガーク効果を体系的に明らかにした研究報告はこれまでにない。難聴耳では、「読唇」など視覚入力による認識機構の重みがましていると予想される場合が少なからずあり、聴覚-視覚情報の相互作用は正常耳のそれと異なってきている事が予想された。
マガーク効果は個人差の大きい効果であり、健聴耳と難聴耳の比較を行うには難しい側面があることが初期実験で明らかになった。そこで、研究の後半では模擬難聴状態を作成し、同一被験者で、それぞれの正常状態の結果を基準に模擬難聴状態での結果を解析していった。
語音聴取に対する、視覚情報の影響については、音声情報と視覚情報に矛盾が無い場合は「読話」、音声情報と異なった視覚情報が提示された時には「マガーク効果」として知られており、今回の研究でも、模擬難聴耳を対象に両影響を観察した。難聴状態の場合、音声情報のみでの知覚に誤りが出現する、いわゆる「異聴」傾向が背景にあり(もちろん場合によっては実際に異聴が生じる)、その不確実な情報を視覚情報で補いながら知覚を決定していることが示唆された。「マガーク効果」と「読話」の機序については、異なるものであるという考えもあるが、今回の結果からは、両者ともマルチモーダルな音声認識として同質の現象であることが示唆された。
また、効果の発現には個人差が大きいことも知られており、発現の有無が視覚情報の利用度を反映しているという推察もあるが、今回の研究では、聴覚情報のみによる音声認識自体がfragileなものであり、聴覚情報が劣化した難聴者のみならず、正常者でも日常的にマルチモーダルな情報処理過程を活用していることが考えられた。

Research Products

• [Publications] 川瀬哲明,鈴木陽一 他: "マガーク効果における背景雑音の影響に関する検討"Audiology Japan. 43. 471-472 (2000)
• [Publications] 吉川智子,川瀬哲明,鈴木陽一 他: "音声認識における聴覚・視覚情報処理の統合"日本耳鼻咽喉科学会会報. 103. 473 (2000)
• [Publications] Yoiti Suzuki et.al: "Comparison between the effects of additional verbal and visual information on the perception of environmental sounds."Inter-Noise 2000. 2285-2291 (2000)
• [Publications] Abe k,Suzuki Y et al.: "The effects of visual information on the impression of environmental sounds"Inter-Noise 2000. 1177-1182 (2000)