2021 Fiscal Year Research-status Report
Effects of simultaneous processing of visual and auditory stimuli in second language: Evidence from reaction time, eye-tracking, and brain activity
| Project/Area Number |
20K13103
|
|---|
| Research Institution | Aichi Shukutoku University |
|---|
Principal Investigator |
梶浦 眞由美 愛知淑徳大学, 教育部門・センター, 講師 (70849025)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | マルチモーダル / 読解 / 聴解 / 眼球運動 / 脳活動 / 複数同時刺激 / 第二言語 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、日本人英語学習者を対象に、第二言語において、同時に与えられた複数感覚刺激（聴覚刺激:英語音声と視覚刺激：コンピューター画面に提示された読解文）が理解を促進するか、あるいはワーキングメモリ等に負担をかけ阻害するかを、行動データ（正答率、反応時間）、眼球運動データと脳機能イメージングデータ（fNIRS; 近赤外分光法）の３つの側面から検証することである。
これまで、名古屋大学のEyeLinkを使用し、日本人英語学習者と英語母語話者を対象に、読解文のみが提示された場合と、読解文と音声が同時に提示された場合の眼球運動データを収集することができた。ビデオキャプションのようなマルチモーダルなインプットはシングルモーダルなインプットよりも効果的だという研究結果がある一方で、情報量が多くワーキングメモリに負荷をかけるとも言われている。また近年の視線計測研究の結果から、その効果は様々な要因に影響されることが判明した。そこで、本研究では、「同時提示刺激の理解促進への効果は、読解速度が影響する」という仮説を立てて分析した。母語話者の読解スピードは聴解よりも速いという研究結果があり、英語学習者も、同時提示された音声情報を読解に利用するかどうかは、提示された音声の速度よりも速く読めるかどうかが影響を与えるのではないかと考えた。今回収集した視線計測データを分析した結果、英語学習者にとって、同時提示された音声が読解を促進するか否かは学習者の読解スピードにより異なり、学習者の読解が速い場合は音声の助けを必要とせず、遅い場合は音声が読解を促進することが検証された。また、Microsoft Teamsを使用し、オンラインで、聴解練習のみ、あらかじめトランスクリプトを読んでからの聴解練習、読解文と音声を同時提示する聴解練習という３条件で第二言語における学習効果を比較した。結果は分析中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
今年度の計画は、(1) 今まで収集したデータの分析と (2) 読解文のみ提示の条件と読解文と音声が同時提示された条件での英文読解時の脳活動を観測するために、fNIRS（近赤外分光法）を使用して脳機能イメージング実験を行うことであった。
(1)のデータ分析に関しては順調に進んでいる。これまで収集した視線計測データの分析結果は、今年度3月にアメリカ応用言語学会にて発表を行う予定であったが、学会は現地で対面形式で行われたため、新型コロナウィルス感染症の影響で参加できなかった。この結果に関しては、令和4年9月にイギリス応用言語学会にて発表する予定である（採択済み）。また、オンラインで実施したリスニングトレーニングデータに関しては、現在分析中である。
(2)のfNIRSによる脳機能イメージング実験に関しては、新型コロナウィルス感染症拡大防止のため、実施が難しかった。すでに倫理審査、提示プログラム等、実験準備はできているので、できるだけ早く実験を実施したい。
|
| Strategy for Future Research Activity |
令和4年度は、以下の4点を中心に行う予定である。
(1) 眼球運動データとオンラインリスニングトレーニング実験データのさらなる分析。ワーキングメモリ等の個人差要因が条件における従属変数（眼球運動データや得点のリスニングトレーニングによる伸長度）に影響を与えるかどうか等引き続き分析する。
(2) 眼球運動実験結果に関する内容については、令和4年9月に実施されるイギリス言語学会で発表し（既に採択済み）、令和4年度中に論文を投稿する。
(3)３つのリスニングトレーニング条件において得点の伸長度を比較したオンラインリスニングトレーニング実験の結果は、令和4年度中に学会にて発表する予定である。
(4) 脳機能イメージング実験は、名古屋大学のfNIRSを使用して令和4年夏期休暇期間に行う予定である。３０名ほどの被験者を募集し、視覚情報のみの提示と視覚情報と音声情報を同時提示した場合の読解時における脳活動を観測する。
|
| Causes of Carryover |
今年度は、新型コロナ感染症拡大のため、準備はできているものの、予定していた脳機能イメージング実験を行うことができなかった。令和4年夏季休暇中に名古屋大学にてfNIRSを使用した実験を行う予定である。
|
