Effects of simultaneous processing of visual and auditory stimuli in second language: Evidence from reaction time, eye-tracking, and brain activity
| Project/Area Number |
20K13103
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 02100:Foreign language education-related
|
|---|
| Research Institution | Nagoya City University (2022)
Aichi Shukutoku University (2020-2021) |
|---|
Principal Investigator |
Kajiura Mayumi 名古屋市立大学, 大学院人間文化研究科, 准教授 (70849025)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 第二言語習得 / マルチモーダルインプット / 第二言語リスニング / 視線計測 / NIRS / 脳活動計測 / オンライン短期集中リスニングトレーニング / f NIRS / 集中オンラインリスニングトレーニング / マルチモーダル入力 / 意味性判断課題 / 反応速度 / 注視点の回数 / マルチモーダル / 読解 / 聴解 / 眼球運動 / 脳活動 / 複数同時刺激 / 第二言語 / 音声 / 反応時間 / 複数感覚刺激同時処理 / ワーキングメモリ / 眼球運動計測 / fNIRS |
|---|
| Outline of Research at the Start |
第二言語において、文字(読解文)と同じ音声が同時提示された場合、情報量増大により理解度が向上する可能性とともに、認知的負荷が増し逆に理解を阻害する可能性がある。本研究は、同時提示音声の読解への影響を、意味性判断課題を用いて、習熟度やワーキングメモリ容量等の学習者特性を変数とし、行動データ(正答率、反応時間)、眼球運動データと脳機能イメージングデータ(近赤外分光法)の３方面から検証する。複数感覚から同時に得る情報の有益性や効率的な読解パターン、また同時処理における脳内メカニズムを解明する。この結果は、第二言語のシャドウイングやビデオキャプション等マルチメディアの学習方法に応用できる可能性がある。
|
| Outline of Final Research Achievements |
In four different online 6-day intensive listening training experiments using reading comprehension texts and audio, 143 people participated, and it was found that training with multimodal input, such as simultaneous presentation of audio and reading comprehension texts, was significantly more effective for learning than training with repeated listening only. The results of the eye movement experiment in which 32 native speakers and 53 non-native speakers participated when reading and speech were presented simultaneously revealed that whether multimodal stimuli promote comprehension depends on the reader factor and presentation method. In addition to that, the brain experiment in which 14 non-native speakers participated showed that the brain activity also varies depending on learner characteristics. The multi-modal learning method such as using video captions has different effects depending on both learner (e.g., proficiency) and input (e.g., speech speed) characteristics.
|
| Academic Significance and Societal Importance of the Research Achievements |
ビデオキャプション等外国語のマルチメディア学習方法は効果が高いとされているが、マルチモーダルな情報入力処理を行動データのみならず、眼球運動、脳活動からも分析した研究は少ない。これら３側面から検証した結果、学習者の読解速度が提示音声よりも速いか遅いかにより、マルチモーダル入力効果が阻害される可能性があり、音声提示速度や学習者要因がインプットの効果に影響を与えることを示した点で、外国語学習研究分野に貢献できたと考える。同時提示される音声は読解を促進、または阻害する場合もあることから、脳内には視覚処理、聴覚処理と異なるチャネルを持つ可能性があり、ワーキングメモリ仕組み解明への一助となったと考える。
|
Report
(4 results)
Research Products
(8 results)
