Cognitive processing traits of multi-sensory digital texts

2018 Fiscal Year Annual Research Report

• Project/Area Number: 15K00389
• Research Institution: Aoyama Gakuin Women's Junior College
• Principal Investigator: 植月 美希 青山学院女子短期大学, 現代教養学科, 准教授 (70431781)
• Co-Investigator(Kenkyū-buntansha): 安藤 英由樹 大阪大学, 情報科学研究科, 准教授 (70447035)
• Project Period (FY): 2015-04-01 – 2019-03-31
• Keywords: 言語処理 / 多感覚情報処理 / 時間特性

Outline of Annual Research Achievements

本年は、複数のモダリティから同時に文章が入力された場合に、文処理システムにどのような相互作用が生じるのかを明らかにするために、同時に同じ文章を視覚的・聴覚的に提示した場合に、文章の処理にどのような影響があるのかを検討した。具体的には、文章の文字（視覚刺激）を読む際に、同時に音声（聴覚刺激）が提示されると、文字の入れ替えの検出（誤字検出課題）や読みの快適さ（印象評定課題）、文理解成績（文理解課題）はどのように変化するのかを検討した。
その結果、音声が視覚刺激と同時に提示された場合と、提示されない場合での文字入れ替え検出率は、日本語では音がある場合に検出率が高かったが、英語では音がある場合に検出率が低かった。これは、日本語は音と文字の対応が良いため、音声が文字の処理をサポートしているが、英語は音と文字の対応が悪いため、音声が文字の処理をサポートしない可能性と、英語が母語ではない場合、音声とつづりとの対応が悪く、音声が文字の処理をサポートしない可能性が考えられる。
読みの快適さと文の理解に関しては、音声の有無の影響はまったく見られなかった。従って、文字だけ提示された場合と、文字と音声が同時に提示された場合とでは、意識的なレベルでは読みの快適さは変わらず、文理解もいずれも正しく行われていることが示された。
また、視覚的にプロソディをつけて刺激文章を提示した際に、その視覚的な情報がどのように保持されるのかを、構音抑制のパラダイムを用いて検討した。ただし、文章を何度も繰り返し提示するため記憶課題を用いることができなかったため、文章の印象評定課題を用いた。その結果、適切な視覚的プロソディ情報は、一部が音韻ループで保持されている可能性が示唆された。