|
本研究では、音声知覚に伴う視覚刺激の時間的な要因、年齢による差異、聴覚障害者と健聴者の差異などを明らかにするために、高速な画像処理が可能なパーソナルコンピュータにより、音声とこれを発話したときの顔画像の提示タイミングや顔画像の情報量(表示領域)をさまざまにコントロールした視聴覚刺激VTRを作成し、Mcgurk効果を応用した聴取実験により、下記に示す事柄についての基礎的な検討を行った。
1.音声知覚における視覚刺激の時間的な影響の検討
2.脳波(EEG)および脳磁図(MEG)計測により脳内での視聴覚処理過程の検討
3.年齢による音声知覚時の視覚刺激の影響の差異についての検討
4.視覚刺激(顔画像)のどのような部分が音声知覚に大きく影響を及ぼすのかについての検討
5.聴覚障害者と健聴者における音声知覚時の視覚刺激の影響の差異についての検討健聴者のべ106人を対象に行った聴取実験より、以下の事柄が明らかとなった。
1.聴覚刺激と視覚刺激間の提示時間差が±100msec.程度以上になると音声知覚における視覚刺激の影響は提示時間差が無い場合に較べ、大きく低下する。
2.脳波および脳磁図計測の結果、比較的に独立しながらも相互に影響しあう聴覚情設処理機構と視覚情報処理機構とこれらを統合する高次の処理機構が存在することが示唆された。
3.聴覚情報処理機構と視覚情報処理機構を統合する高次の処理機構は、成長と共に発達し、10歳程度でほぼ成人と同様になることが示唆された。
4.視覚情報量を変化させた聴取実験から、音声知覚時の顔画像情報は、口唇周辺だけではなくそれ以外の部分の影響も大きいことや聴覚刺激と視覚刺激の提示時間差が±150msec.程度以上になると口唇周辺画像が音声知覚に及ぼす影響は顔全体画像と同程度になる。
5.聴覚障害などで聴覚情報処理が充分に行えない場合には視覚情報処理機構が音声知覚に大きく関与している。
|
