|
音声認識においては、耳からの聴覚情報と目からの視覚情報が統合的に働きえるが、聴覚、視覚情報の相互作用の一つとして、マガーク効果)が知られている。本現象は、正常耳で報告され、人種、言語の違いの影響などについて検討されてきたが、難聴耳における、マガーク効果を体系的に明らかにした研究報告はこれまでにない。難聴耳では、「読唇」など視覚入力による認識機構の重みがましていると予想される場合が少なからずあり、聴覚-視覚情報の相互作用は正常耳のそれと異なってきている事が予想された。
マガーク効果は個人差の大きい効果であり、健聴耳と難聴耳の比較を行うには難しい側面があることが初期実験で明らかになった。そこで、研究の後半では模擬難聴状態を作成し、同一被験者で、それぞれの正常状態の結果を基準に模擬難聴状態での結果を解析していった。
語音聴取に対する、視覚情報の影響については、音声情報と視覚情報に矛盾が無い場合は「読話」、音声情報と異なった視覚情報が提示された時には「マガーク効果」として知られており、今回の研究でも、模擬難聴耳を対象に両影響を観察した。難聴状態の場合、音声情報のみでの知覚に誤りが出現する、いわゆる「異聴」傾向が背景にあり(もちろん場合によっては実際に異聴が生じる)、その不確実な情報を視覚情報で補いながら知覚を決定していることが示唆された。「マガーク効果」と「読話」の機序については、異なるものであるという考えもあるが、今回の結果からは、両者ともマルチモーダルな音声認識として同質の現象であることが示唆された。
また、効果の発現には個人差が大きいことも知られており、発現の有無が視覚情報の利用度を反映しているという推察もあるが、今回の研究では、聴覚情報のみによる音声認識自体がfragileなものであり、聴覚情報が劣化した難聴者のみならず、正常者でも日常的にマルチモーダルな情報処理過程を活用していることが考えられた。
|
