2022 Fiscal Year Annual Research Report
Effects of simultaneous processing of visual and auditory stimuli in second language: Evidence from reaction time, eye-tracking, and brain activity
| Project/Area Number |
20K13103
|
|---|
| Research Institution | Nagoya City University |
|---|
Principal Investigator |
梶浦 眞由美 名古屋市立大学, 大学院人間文化研究科, 准教授 (70849025)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 視線計測 / 脳活動計測 / f NIRS / 集中オンラインリスニングトレーニング / マルチモーダル入力 / 意味性判断課題 / 反応速度 / 注視点の回数 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、読解文に同じ内容の音声を同時提示した場合、理解を促進するのか、それとも認知的負荷が高く理解を阻害するのかを、行動データ(正答率、反応時間)、眼球運動データ、脳機能イメージングデータにより詳細に観察し、同時音声刺激の有益性や効率的な読解パターン、クロスモーダルな情報処理における脳内の負荷を検証することであった。
本年度は、視線計測実験を継続し、母語話者32名、日本人英語学習者53名のデータを収集することができた。さらに、Neu WOT 100を用いて、近赤外分光法(NIRS:Near Infrared Spectroscopy)にて、14名の参加者の脳活動も同時計測した。結果をイギリス応用言語学会、アメリカ応用言語学会で発表した。
研究期間を通して以下が解明された。
対面実験が難しかったコロナ禍では、オンラインの６日間集中リスニングトレーニング実験を行い143名が参加したが、その結果リスニングを２回繰り返すユニモーダルな練習よりも、読解と聴解をとりいれたクロスモーダルな練習の方が有意に得点が向上した。視線計測実験結果から、読解の遅い低熟達度学習者は、同時提示された音声が読解を促進することが認められた一方、音読より黙読の方が速い英語母語話者は、音声が同時提示されると逆に読解を阻害した。
NIRS脳活動計測実験の個人解析結果から、読解のみ条件、音声同時提示条件の脳活動は読み手の特性によって違いが見られた。
３つの実験から、音声と読解文が同時提示されるビデオのキャプション等を使用したマルチモーダルな学習方法は、習熟度等学習者特性や、提示される音声速度等のインプットの特徴等によって効果が違い、効果的にリスニング力、リーディング力を養うには、学習者の特性に合わせたインプット方法を考える必要があるということが明らかになったという点で、第二言語習得の分野に貢献できたと考える。
|
