Adaptation and prosodic processing in L2: Eye-tracking evidence and processing models

2020 Fiscal Year Annual Research Report

• Project/Area Number: 19H01279
• Research Institution: Waseda University
• Principal Investigator: 中村 智栄 早稲田大学, 理工学術院, 准教授(任期付) (30726823)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 第二言語 / 文処理 / アイトラッキング

Outline of Annual Research Achievements

本研究では, 第二言語学習者が言語情報に対して持つ統計的 推論能力と予測的文処理プロセスに焦点を当て, 第二言語の理解において音声のプロソディー情報に含まれる多様性を聞き手がどう考慮し, 情報の信頼性にどう適応しながら文理解を行うかを明らかにするための眼球運動計測実験を行った. これにより, 第二言語の文処理にプロソディー情報が予測的に使われるかを調べるとともに, 予測した情報と実際のインプットの差によって生じるエラ ーから引き起こされる潜在的学習(error-based learning)が, 文処理におけるプロソディー情報への適応にどう影響を与えるかを分析し, 適応的な言語処理を引き起こす要因の解明にあた っている. また, 日本語・フランス語を母語とする英語学習者を対象とすることで第二言語学習者に共通する処理方略と母語転移の影響を検証した. さらに, 適応的な文理解メカニズムを持った数理モデルの構築により実験結果のシミュレーションを行うことで, 言語情報のバリエーションに言語処理機能がどう対応しているかを考慮に入れた第二言語文処理モデルの提案を目指している.

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウィルス感染拡大への対応により、アメリカ、フランス、日本で計画していた対面実験に制限が生じたため。

Strategy for Future Research Activity

アイトラッキング実験の結果とコネクショニストモデルを用い, プロソディー情報に基づいた文構解析数理モデルの構築により実験結果のシミュレーションを行う. これにより, 言語情報のバリエーションに言語処理機能がどう対応しているかを考慮に入れた第二言語処理モデルを提案する. 次のステップとして, 実際の言語産出によるプロソディーコーパスデータと長配列の 順序付けにおける規則性を効率的に獲得することができるディープラーニングを組み合わせ, 様々な種類のプロソディー情報を提供することがコーパス内の発話を正しく解析するモデルの能力にどう影響するかを明らかにする. 最終的に, ディープラーニング機能により訓練されたモデルを実際のアイトラッキングデータと比較して評価を行い, モデルにより実験全体のパターンと個人差が説明できるかを検証する. その中で, モデルに対して異なる言語のコーパスデータに基づいた訓練を行い, この結果からある言語の知識が他の言語の処理にどのように影響するかについての議論を試みる.

Research Products

• [Journal Article] CELER: A 365-participant corpus of eye movements in L1 and L2 English reading (2022)
  • Author(s): Berzak, Y., Nakamura, C., Smith, A., Weng, E., Katz, B., Flynn, S., & Levy, R.
  • Journal Title: Open Mind: Discoveries in Cognitive Science Volume: - Pages: 1-10
  • DOI: 10.1162/opmi_a_00054
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] L2 learners do not ignore verb's subcategorization information in real-time syntactic processing (2022)
  • Author(s): Nakamura, C., Arai, M., Hirose, Y., & Flynn, S.
  • Journal Title: Frontiers in Psychology Volume: 12 Pages: 1-13
  • DOI: 10.3389/fpsyg.2021.689137
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Integrating prosody in anticipatory language processing: how listeners adapt to unconventional prosodic cues (2021)
  • Author(s): Nakamura Chie、Harris Jesse A.、Jun Sun-Ah
  • Journal Title: Language, Cognition and Neuroscience Volume: - Pages: 1～24
  • DOI: 10.1080/23273798.2021.2010778
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Adaptation to atypical contrastive accent: The L2 advantage (2021)
  • Author(s): Nakamura, C., Harris, J., & Jun, S-A.
  • Journal Title: BUCLD 45 Proceedings Volume: なし Pages: 568-583
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] An extra cue is beneficial for native speakers but can be disruptive for second language learners: Integration of prosody and visual context in syntactic ambiguity resolution (2020)
  • Author(s): Nakamura, C., Arai, M., Hirose, Y., Flynn, S.
  • Journal Title: Frontiers in Psychology Volume: 10 Pages: 2835
  • DOI: 10.3389/fpsyg.2019.02835
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Learning to anticipate contrast with prosody: A visual world study with L2 learners (2020)
  • Author(s): Nakamura, C., Harris, J. A., & Jun, S. A.
  • Journal Title: Proceedings of the 10th International Conference on Speech Prosody 2020 Volume: なし Pages: 861-871
  • Peer Reviewed / Int'l Joint Research
• [Presentation] L2 processing of subject-verb agreement (SVA): They hear it but can't process it? (2021)
  • Author(s): Kiwako, I., Nakamura, C., Kylie, S., Traci, F., Thomas, N., Suzanne, F., Jongmin, J., & Bethany, F.
  • Organizer: Architectures and Mechanisms for Language Processing (AMLaP 2021)
  • Int'l Joint Research
• [Presentation] Learning to anticipate with unconventional prosodic mappings: The L2 advantage (2020)
  • Author(s): Nakamura, C., Harris, J. A., & Jun, S. A.
  • Organizer: 45th Annual Boston University Conference on Language Development
  • Int'l Joint Research
• [Presentation] Learning to anticipate contrast with prosody: A visual world study with L2 learners (2020)
  • Author(s): Nakamura, C., Harris, J. A., & Jun, S. A.
  • Organizer: 10th International Conference on Speech Prosody
  • Int'l Joint Research