2020 Fiscal Year Research-status Report
Effects of simultaneous processing of visual and auditory stimuli in second language: Evidence from reaction time, eye-tracking, and brain activity
| Project/Area Number |
20K13103
|
|---|
| Research Institution | Aichi Shukutoku University |
|---|
Principal Investigator |
梶浦 眞由美 愛知淑徳大学, 教育部門・センター, 講師 (70849025)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | マルチモーダル / 読解 / 音声 / 反応時間 / 眼球運動 / 脳活動 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、第二言語におけるクロスモーダルな情報提示がシングルモーダルな場合と比べて、理解を促進するか否かを、行動データ（正答率、反応時間）、眼球運動データと脳機能イメージングデータ（fNIRS; 近赤外分光法）の３つの側面からより詳細に検証することである。具体的には、日本人英語学習者を対象に、同じ内容の文字（読解文）と音声が同時に提示された場合、内容理解は、情報量が増え促進されるのか、それとも認知的負荷が高まり阻害されるのか？という疑問を解決することが本研究の目的である。
今年度の計画は、(1) 日本人英語学習者を対象に、読解文だけの条件と音声が同時提示された条件における眼球運動の比較をすること、と (2) 読解文だけの条件と音声が同時提示された条件の英文読解時の脳活動を観測するために、fNIRS（近赤外分光法）を使用して脳機能イメージング実験を行うための詳細な計画をたてることであった。
今年度の成果として、まず第一に、名古屋大学のEyeLinkを使用させていただき、視線計測の実験を行うことができた。日本人英語学習者に加え、英語母語話者を対象に、読解文だけの条件と音声が同時提示された条件の２条件における英文意味性判断課題遂行時の正答率、反応時間、眼球運動の３種類のデータを得ることができた。次に、第二言語のオンラインリスニングトレーニング実験を実施できた。習熟度の違う１５０名の日本人英語学習者を３つのグループに分け、英語リスニングのみ、あらかじめトランスクリプトを読んでからリスニングをするトレーニング、同時提示された読解と音声を使用したトレーニングを実施して、どのようなトレーニングがリスニング力向上において効果的か検証した。トレーニングはMicrosoft社のTeamsで毎日２時間ほど６日間実施し、前後で英語リスニング習熟度（事前事後テスト）、ワーキングメモリ容量等を測定した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実施した視線計測実験における英語学習者と英語母語話者の眼球運動のデータは現在分析中である。視線計測実験の継続やfNIRS（近赤外分光法）を使用した脳機能イメージング実験は、新型コロナウィルス感染症拡大防止のため対面授業が中止されたため、参加者を募集するのが難しかった。そのため当初の予定を変更して、オンラインでの第二言語のリスニングトレーニング実験を実施した。トレーニング内容別の効果と同時にワーキングメモリや習熟度などの個人差要因と学習効率（それぞれのトレーニングにおけるリスニング力の伸長度）との関係も現在分析中である。 このトレーニング実験により、音声と文字の同時提示における理解への影響を検証するだけでなく、学習効果の検証も期待できる。fNIRSによる脳機能イメージング実験に関しては、視線計測実験に用いた材料・実験提示プログラムを使用する予定で、実験をする準備は概ねできている。
以上の理由から、この課題について、おおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
令和３年度は、以下の３点を中心に研究を行う予定である。
(1) 眼球運動データの分析。視覚（文字）情報のみの提示と視覚音声同時提示の条件間における正答率、反応時間、戻り読みの回数、注視時間、サッケード等分析する。またワーキングメモリ等の個人差要因が条件における従属変数に影響を与えるかどうかも検証する。
(2) トレーニング実験においては、上記３種類のトレーニング方法別の事前事後テスト得点による伸長度から、それぞれのトレーニング方法の効果を検証する。またデジットスパン、リスニングスパン、逆順デジットスパンなどの個人差要因のトレーニング効果への影響については、事前事後テストの得点伸長度と個人差要因との相関を分析する。
(3) 脳機能イメージング実験は、３０名ほどの被験者を募集し、視覚情報のみの提示と視覚音声同時提示の読解時における脳活動を観測する予定である。
|
| Causes of Carryover |
実験参加者への謝礼を中心に使用した結果、残金として196円が生じた。令和3年度は脳活動を計測する脳機能イメージング実験を行う予定であり、この実験にかかる謝礼等に使用する予定である。
|
