• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Effects of simultaneous processing of visual and auditory stimuli in second language: Evidence from reaction time, eye-tracking, and brain activity

Research Project

Project/Area Number 20K13103
Research InstitutionNagoya City University

Principal Investigator

梶浦 眞由美  名古屋市立大学, 大学院人間文化研究科, 准教授 (70849025)

Project Period (FY) 2020-04-01 – 2023-03-31
Keywords視線計測 / 脳活動計測 / f NIRS / 集中オンラインリスニングトレーニング / マルチモーダル入力 / 意味性判断課題 / 反応速度 / 注視点の回数
Outline of Annual Research Achievements

本研究の目的は、読解文に同じ内容の音声を同時提示した場合、理解を促進するのか、それとも認知的負荷が高く理解を阻害するのかを、行動データ(正答率、反応時間)、眼球運動データ、脳機能イメージングデータにより詳細に観察し、同時音声刺激の有益性や効率的な読解パターン、クロスモーダルな情報処理における脳内の負荷を検証することであった。
本年度は、視線計測実験を継続し、母語話者32名、日本人英語学習者53名のデータを収集することができた。さらに、Neu WOT 100を用いて、近赤外分光法(NIRS:Near Infrared Spectroscopy)にて、14名の参加者の脳活動も同時計測した。結果をイギリス応用言語学会、アメリカ応用言語学会で発表した。
研究期間を通して以下が解明された。
対面実験が難しかったコロナ禍では、オンラインの6日間集中リスニングトレーニング実験を行い143名が参加したが、その結果リスニングを2回繰り返すユニモーダルな練習よりも、読解と聴解をとりいれたクロスモーダルな練習の方が有意に得点が向上した。視線計測実験結果から、読解の遅い低熟達度学習者は、同時提示された音声が読解を促進することが認められた一方、音読より黙読の方が速い英語母語話者は、音声が同時提示されると逆に読解を阻害した。
NIRS脳活動計測実験の個人解析結果から、読解のみ条件、音声同時提示条件の脳活動は読み手の特性によって違いが見られた。
3つの実験から、音声と読解文が同時提示されるビデオのキャプション等を使用したマルチモーダルな学習方法は、習熟度等学習者特性や、提示される音声速度等のインプットの特徴等によって効果が違い、効果的にリスニング力、リーディング力を養うには、学習者の特性に合わせたインプット方法を考える必要があるということが明らかになったという点で、第二言語習得の分野に貢献できたと考える。

  • Research Products

    (5 results)

All 2023 2022

All Presentation (5 results) (of which Int'l Joint Research: 5 results)

  • [Presentation] Investigating speech rate effects for multi-modal input using eye-tracking data comparing native and non-native speakers.2023

    • Author(s)
      Kajiura, M., Ishida, T., & Sugiura, M.
    • Organizer
      2023 conference of the American Association for Applied Linguistics (AAAL)
    • Int'l Joint Research
  • [Presentation] The effect of speaker's face on brain mechanisms during second language shadowing: An fMRI study.2023

    • Author(s)
      Jeong, H., Kazai, K., Kajiura, M., Yuko Nakano, Y., & Kadota, S.
    • Organizer
      2023 conference of the American Association for Applied Linguistics (AAAL).
    • Int'l Joint Research
  • [Presentation] English shadowing and proficiency: The effects of watching a model speaker’s face while shadowing passages.2023

    • Author(s)
      Nakanishi, H., Kajiura, M., & Kadota, S.
    • Organizer
      2023 conference of the American Association for Applied Linguistics (AAAL).
    • Int'l Joint Research
  • [Presentation] The Effects of multi-modal input on second language comprehension: An eye-tracking study.2022

    • Author(s)
      Kajiura, M., Ishida, T., & Sugiura, M.
    • Organizer
      2022 conference of the British Association for Applied Linguistics (BAAL).
    • Int'l Joint Research
  • [Presentation] Executive working memory capacity and English as L2 proficiency.2022

    • Author(s)
      Kawasaki, M., Kajiura, M. , & Kadota, S.
    • Organizer
      The 22nd International Conference of the Japan Second Language Association. (J-SLA). (2022).
    • Int'l Joint Research

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi