英語聴解モデルの提唱とそれに基づく英語字幕・日本語字幕の最適提示タイミングの提案

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11780129
• Research Institution: Toyo Eiwa University
• Principal Investigator: 吉野 志保 東洋英和女学院大学, 人間科学部, 助手 (00308553)
• Keywords: ワーキングメモリ / 情報処理容量 / 字幕提示タイミング / 聴解 / 認知的負荷 / 英語字幕・日本語字幕 / 視聴中の注意

Research Abstract

英語のビデオに字幕を付加した場合、言語情報は音と文字によって提示される。このように情報を異なるモダリティによって提示した場合には、ワーキングメモリ内の異なるサブシステムによって、それぞれ言語音声情報と言語文字情報が処理されるために、記憶や理解にプラスの影響をもつものとされている。吉野・野嶋(1996)は4つの情報量の異なるビデオにそれぞれ字幕を付加し、聴解に与える字幕の効果を検証した。その結果、字幕の付加は確かに英語聴解に効果があったが、その効果は提示される情報量が多くなると相対的に減少していた。情報を受ける人間が一定時間内に処理できる情報量には限界があることから、字幕を提示する場合にも、視聴者の情報処理容量を超えないような提示方法が望ましいと思われた。そこで、発話間の音声情報のない時間帯(「間」;ポーズ)を利用して字幕を提示し、情報量を操作するとともに、字幕特性による聴解への影響(字幕が視聴者の注意をひきつけてしまい、英語音声に注意が向かなくなること)を少なくし、字幕の効果を高めることを考えた。
実験の結果、英語字幕では字幕を音声よりも先に提示した場合に、英語聴解が促進されたが、日本語字幕では、字幕の提示タイミングによる差は認められなかった。また、視聴中の注意について被験者に主観的に評価してもらった結果、字幕が英語であっても日本語であっても、約半数以上の被験者が字幕に注意を向けており、視聴者の視線をひきつける字幕特性は提示タイミングを工夫しても崩れないと考えられた。このことから、字幕の提示タイミングを操作することによって、字幕を同時に提示するよりも、情報量を適正に抑えることができ、字幕効果を高めることができること、ただし、提示タイミングの操作による情報量の軽減は、日本語字幕のように異なる言語間の情報を処理するような高い認知的負荷をも軽減するほどには生じないこと、さらに、字幕特性が解消されないことから、字幕は音声よりも先に提示するほうがよいことが示唆された。
今後は以上の結果を先行研究に照らし合わせ、字幕が提示された際の聴解の仕組みを考えていく。

Research Products

• [Publications] 吉野志保: "英語聴解に効果的な英語字幕・日本語字幕の提示タイミングに関する研究"東洋英和女学院大学 人文・社会科学論集. 16. 77-100 (2000)
• [Publications] Shiho YOSHINO,Noriko KANO,Kanji AKAHORI.: "The Effects of English and Japanese Captions on the Listening Comprehension of Japanese EFL Students."Language Laboratory. 37. 111-130 (2000)
• [Publications] Shiho YOSHINO,Noriko KANO: "The Effects of the L1 and L2 Caption Presentation Timing on Listening Comprehension."Proceedings of ED-Media 2000. 92-101 (2000)
• [Publications] 吉野志保: "字幕提示タイミングと英語聴解モデルに関する一考察"教育工学関連学協会連合 第6回全国大会講演論文集. 563-564 (2000)