2022 Fiscal Year Annual Research Report
Adaptation and prosodic processing in L2: Eye-tracking evidence and processing models
| Project/Area Number |
19H01279
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
中村 智栄 早稲田大学, 理工学術院, 准教授(任期付) (30726823)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | アイトラッキング / プロソディ / 文処理 / 第二言語習得 |
|---|
| Outline of Annual Research Achievements |
聞き手が音声のプロソディー情報から喚起すると想定される語彙とは異なる情報を用いた文（下記の例文b）を用い, 聞き手が話し手のプロソディー情報に信頼を置くという意味でのreliabilityを操作した. これにより,予測的処理におけるプロソディー情報への依存度がreliabilityによってどう変化し適応するのかを明らかにした. 具体的には, まず実験1で(a)の音声文と同時に関連する絵をスクリーン上に提示し, ‘purple’に置かれた対比的アクセントから ‘cat’が予測されるか（‘cat’のオンセットよりも前に‘purple cat’への予測的注視が見られるか）を検証した. 実験2では, (b)の音声文で‘purple cat’を予測することで‘pig’を聞いたときに処理負荷が生じるかを調べるとともに, 実験の進行に伴い実験内での特殊な対比的アクセントの使われ方に学習が起き, ‘purple pig’を予測するようになるかを検証した.
(a) Reliable-speaker: First, find the red cat. Next, find the PURPLEL+H* cat.
(b) Unreliable-speaker: First, find the red cat. Next, find the PURPLE L+H* pig.
さらに, フランス語ではNoun+Adjの文型における対比表現でどのようなプロソディー情報が用いられるかを明らかにするため, 実験のアイテムをフランス語訳した実験をフランス語母語話者に行う実験準備を行った.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
度重なる新型コロナの感染拡大とそれに伴う規制により, フランスのラボで行う予定の対面実験が実施できていないため.
|
| Strategy for Future Research Activity |
アイトラッキング実験の結果とコネクショニストモデルを用い, プロソディー情報に基づいた文構造解析数理モデルの構築により実験結果のシミュレーションを行う. これにより, 言語情報のバリエーションに言語処理機能がどう対応しているかを考慮に入れた第二言語処理モデルを提案する. 具体的には, プロソディのラベリング記述法（ToBI）を用いることでプロソディー情報を記号として入力し, 数理モデルがプロソディー情報に応じて正しい構造を学習できるかを検証する. ある層の出力が遡って入力される再帰結合機能を持つRecurrent Neural Networkを用いることで, 下の例文のようにプロソディー境界の位置により文構造解釈が変化する規則性をモデルに学ばせる.
The boy % will write to % the panda with the crayon.
The boy % will write to the panda % with the crayon.
次のステップとして, 実際の言語産出によるプロソディーコーパスデータと長配列の順序付けにおける規則性を効率的に獲得することができるディープラーニングを組み合わせ, 様々な種類のプロソディー情報を提供することがコーパス内の発話を正しく解析するモデルの能力にどう影響するかを明らかにする. 最終的に, ディープラーニング機能により訓練されたモデルを実際のアイトラッキングデータと比較して評価を行い, モデルにより実験全体のパターンと個人差が説明できるかを検証する. その中で, モデルに対して異なる言語のコーパスデータに基づいた訓練を行い, この結果からある言語の知識が他の言語の処理にどのように影響するかについての議論を試みる.
|
-
[Journal Article] CELER: A 365-participant corpus of eye movements in L1 and L2 English reading2022
Author(s)
Berzak, Y., Nakamura, C., Smith, A., Weng, E., Katz, B., Flynn, S., & Levy, R.
-
Journal Title
Open Mind: Discoveries in Cognitive Science
Volume: -
Pages: 1-10
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
