• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

第二言語における文字と音声の同時処理-反応時間、眼球運動、脳活動からの考察-

研究課題

研究課題/領域番号 20K13103
研究種目

若手研究

配分区分基金
審査区分 小区分02100:外国語教育関連
研究機関名古屋市立大学 (2022)
愛知淑徳大学 (2020-2021)

研究代表者

梶浦 眞由美  名古屋市立大学, 大学院人間文化研究科, 准教授 (70849025)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2020年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワード第二言語習得 / マルチモーダルインプット / 第二言語リスニング / 視線計測 / NIRS / 脳活動計測 / オンライン短期集中リスニングトレーニング / f NIRS / 集中オンラインリスニングトレーニング / マルチモーダル入力 / 意味性判断課題 / 反応速度 / 注視点の回数 / マルチモーダル / 読解 / 聴解 / 眼球運動 / 脳活動 / 複数同時刺激 / 第二言語 / 音声 / 反応時間 / 複数感覚刺激同時処理 / ワーキングメモリ / 眼球運動計測 / fNIRS
研究開始時の研究の概要

第二言語において、文字(読解文)と同じ音声が同時提示された場合、情報量増大により理解度が向上する可能性とともに、認知的負荷が増し逆に理解を阻害する可能性がある。本研究は、同時提示音声の読解への影響を、意味性判断課題を用いて、習熟度やワーキングメモリ容量等の学習者特性を変数とし、行動データ(正答率、反応時間)、眼球運動データと脳機能イメージングデータ(近赤外分光法)の3方面から検証する。複数感覚から同時に得る情報の有益性や効率的な読解パターン、また同時処理における脳内メカニズムを解明する。この結果は、第二言語のシャドウイングやビデオキャプション等マルチメディアの学習方法に応用できる可能性がある。

研究成果の概要

マルチモーダルな刺激入力の外国語学習への影響を行動データ、眼球運動データ、脳活動データから検証した。143名が参加した4方法を比較する6日間集中オンラインリスニングトレーニング実験の結果から、聴解練習を繰り返すよりも聴解と読解を併用した練習の方が有意に学習効果が高いことが判明した。32名の英語母語話者、53名の非母語話者が参加した視線計測実験結果によると、マルチモーダルな入力刺激が理解を促進するかどうかは、読み手の要因や提示方法により、効果に違いが見られた。更に14名の被験者については眼球運動と共に脳活動も同時計測し、マルチモーダル刺激処理時の脳活動も学習者の特性によって異なることが判明した。

研究成果の学術的意義や社会的意義

ビデオキャプション等外国語のマルチメディア学習方法は効果が高いとされているが、マルチモーダルな情報入力処理を行動データのみならず、眼球運動、脳活動からも分析した研究は少ない。これら3側面から検証した結果、学習者の読解速度が提示音声よりも速いか遅いかにより、マルチモーダル入力効果が阻害される可能性があり、音声提示速度や学習者要因がインプットの効果に影響を与えることを示した点で、外国語学習研究分野に貢献できたと考える。同時提示される音声は読解を促進、または阻害する場合もあることから、脳内には視覚処理、聴覚処理と異なるチャネルを持つ可能性があり、ワーキングメモリ仕組み解明への一助となったと考える。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (8件)

すべて 2023 2022 2021 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (5件) (うち国際学会 5件) 図書 (1件) 備考 (1件)

  • [雑誌論文] Brain activity predicts future learning success in intensive second language listening training2021

    • 著者名/発表者名
      Kajiura M, Jeong H, Kawata NYS, Yu S, Kinoshita T, Kawashima R, Sugiura M
    • 雑誌名

      Brain and Language

      巻: 212 ページ: 404839-404839

    • DOI

      10.1016/j.bandl.2020.104839

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Investigating speech rate effects for multi-modal input using eye-tracking data comparing native and non-native speakers.2023

    • 著者名/発表者名
      Kajiura, M., Ishida, T., & Sugiura, M.
    • 学会等名
      2023 conference of the American Association for Applied Linguistics (AAAL)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] The effect of speaker's face on brain mechanisms during second language shadowing: An fMRI study.2023

    • 著者名/発表者名
      Jeong, H., Kazai, K., Kajiura, M., Yuko Nakano, Y., & Kadota, S.
    • 学会等名
      2023 conference of the American Association for Applied Linguistics (AAAL).
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] English shadowing and proficiency: The effects of watching a model speaker’s face while shadowing passages.2023

    • 著者名/発表者名
      Nakanishi, H., Kajiura, M., & Kadota, S.
    • 学会等名
      2023 conference of the American Association for Applied Linguistics (AAAL).
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] The Effects of multi-modal input on second language comprehension: An eye-tracking study.2022

    • 著者名/発表者名
      Kajiura, M., Ishida, T., & Sugiura, M.
    • 学会等名
      2022 conference of the British Association for Applied Linguistics (BAAL).
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Executive working memory capacity and English as L2 proficiency.2022

    • 著者名/発表者名
      Kawasaki, M., Kajiura, M. , & Kadota, S.
    • 学会等名
      The 22nd International Conference of the Japan Second Language Association. (J-SLA). (2022).
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [図書] 応用言語学と外国語教育研究ー未来への展望ー2021

    • 著者名/発表者名
      梶浦眞由美他20名
    • 総ページ数
      277
    • 出版者
      金星堂
    • ISBN
      9784764712072
    • 関連する報告書
      2021 実施状況報告書
  • [備考] 教育研究業績閲覧システム

    • URL

      http://pnavi.aasa.ac.jp/researchwork/eir02u/index/cd/052156

    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi