音声知覚に及ぼす視覚刺激の影響に関する研究

1996 年度 実績報告書

• 研究課題/領域番号: 08680411
• 研究種目: 基盤研究(C)
• 研究機関: 千葉工業大学
• 研究代表者: 世木 秀明 千葉工業大学, 工学部, 講師 (60226636)
• キーワード: 音声知覚 / 視覚刺激 / 聴覚刺激 / Megurk効果 / 脳波 / 脳磁図

研究概要

本研究では、音声知覚にともなう視覚刺激の時間的な要因、年齢による差異、聴覚障害者と健聴者の差異などを明らかにするために、1)高速化画像処理が可能なパーソナルコンピュータを使用し、音声とこれを発話したときの顔画像の提示タイミングや顔画像の情報量(表示領域)をさまざまにコントロールした視聴覚刺激VTRが作成できる処理システムを構築した。また、構築した処理システムを用いて女性アナウンサーが発声した日本語単音節音声及びその時の顔画像から視聴覚刺激VTRを作成し、Mcgurk効果を応用した聴取実験により、2)音声知覚における視覚刺激の時間的な影響、3)視覚刺激(顔画像)のどのような部分が音声知覚に大きく影響を及ぼすかについての検討を行った。さらに、4)脳波(EEG)および脳磁図(MEG)計測により脳内での視聴覚処理過程の検討も加えた。
本年度成人健聴者40人を対象に行った聴取実験の結果、聴覚刺激と視覚刺激間の提示時間差が【/+-/I】100msec.以上になると異聴率が提示時間差のない場合と比べ、有意に低下することが確認された。また、視覚刺激として顔全体を提示した場合と口唇周辺のみを提示した場合について検討すると、聴覚刺激と視覚刺激間に提示時間差がない場合は、口唇周辺のみを提示した場合の方が有意に異聴率が低下するが、提示時間差が【/+-/I】150msec.以上になると両者間に異聴率の差は認められなかった。このことから、音声知覚時の顔画像情報は、口唇周辺だけではなくそれ以外の部分の影響が大きいことや聴覚刺激と視覚刺激間の提示時間差がある程度(【/+-/I】150msec.)以上になると音声知覚に及ぼす視覚刺激の影響は両視覚刺激間で同程度になることがわかった。さらに、脳波と脳磁図による測定の結果、比較的に独立しながらも相互に影響しあう同時並列的な聴覚情報処理機構と視覚情報処理機構の存在とそれらを統合する高次の機構の存在が示唆された。

研究成果

• [文献書誌] 今泉敏,森浩一,桐谷滋,世木秀明: "MEGとEEGによる視聴覚音声知覚過程の解析" 日本音響学会平成8年秋期研究発表会講演論文集. I. 343-344 (1996)
• [文献書誌] 芝田勝,世木秀明,出口利定: "日本人女性アナウンサーの聴覚的印象評価と音響的特徴" 日本音響学会平成8年秋期研究発表会講演論文集. I. 351-352 (1996)
• [文献書誌] 今泉敏,森浩一,桐谷滋,湯本真人,世木秀明,清水一光: "視聴覚音声知覚の脳波・脳磁図による検討" 日本音響学会聴覚研究会資料. H-97-9. 1-7 (1997)
• [文献書誌] 今泉敏,森浩一,桐谷滋,湯本真人,世木秀明,清水一光: "情報処理速度からみた視聴覚情報統合" 日本音響学会平成9年春期研究発表会講演論文集. I. (1997)