2021 Fiscal Year Annual Research Report
Adaptation and prosodic processing in L2: Eye-tracking evidence and processing models
| Project/Area Number |
19H01279
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
中村 智栄 早稲田大学, 理工学術院, 准教授(任期付) (30726823)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | アイトラッキング / 音声 / プロソディー / 第二言語習得 / 心理言語学 |
|---|
| Outline of Annual Research Achievements |
聞き手が音声のプロソディー情報から喚起すると想定される語彙とは異なる情報を用いた文（下記の例文b）を用い, 聞き手が話し手のプロソディー情報に信頼を置くという意味でのreliabilityを操作した. これにより, 予測的処理におけるプロソディー情報への依存度がreliabilityによってどう変化し適応するのかについて被験者が音声を聞く際の視線の動きを計測するアイトラッキング実験から明らかにした. 具体的には, まず実験1で(a)の音声文と同時に音声上で言及される絵を含めたいくつかの例（紫の猫、赤い猫、オレンジのカニ、白い犬、等）をスクリーン上に提示し, ‘purple’に置かれた対比的アクセントから ‘cat’が予測されるか（‘cat’のオンセットよりも前に‘purple cat’への予測的注視が見られるか）を検証した. 実験2では, (b)の音声文で‘purple cat’を予測することで‘pig’を聞いたときに処理負荷が生じるかを調べるとともに, 実験の進行に伴い実験内での特殊な対比的アクセントの使われ方に学習が起き, ‘purple pig’を予測するようになるかを検証した.
(a) Reliable-speaker: First, find the red cat. Next, find the PURPLEL+H* cat.
(b) Unreliable-speaker: First, find the red cat. Next, find the PURPLE L+H* pig.
本実験について, 英語母語話者を対象とした実験は完了した一方, 日本語母語話者とフランス語母語話者についてはコロナ禍による対面実験制限により実験参加人数が限られた状態である.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度中に日本語とフランス語を母語とする英語学習者を対象に実験を行う予定であったが, コロナ禍によるフランスへの渡航制限, また, 両国における対面実験制限により実験参加人数が限られた状態となった.
|
| Strategy for Future Research Activity |
日本語とフランス語を母語とする英語学習者を対象にした実験を完了させる. その上で, アイトラッキング実験の結果とコネクショニストモデルを用い, プロソディー情報に基づいた文構造解析数理モデルの構築により実験結果のシミュレーションを行う. これにより, 言語情報のバリエーションに言語処理機能がどう対応しているかを考慮に入れた第二言語処理モデルを提案する. 具体的には, プロソディーのラベリング記述法（ToBI）を用いることでプロソディー情報を記号として入力し, 数理モデルがプロソディー情報に応じて正しい構造を学習できるかを検証する. ある層の出力が遡って入力される再帰結合機能を持つRecurrent Neural Networkを用いることで, ”The boy will touch (%) the frog (%) with the flower.”のようにプロソディー境界の位置（%）により文構造解釈が変化する規則性をモデルに学ばせる. 次のステップとして, 実際の言語産出によるプロソディーコーパスデータと長配列の順序付けにおける規則性を効率的に獲得することができるディープラーニングを組み合わせ, 様々な種類のプロソディー情報を提供することがコーパス内の発話を正しく解析するモデルの能力にどう影響するかを明らかにする. 最終的に, ディープラーニング機能により訓練されたモデルを実際のアイトラッキングデータと比較して評価を行い, モデルにより実験全体のパターンと個人差が説明できるかを検証する. その中で, モデルに対して異なる言語のコーパスデータに基づいた訓練を行い, この結果からある言語の知識が他の言語の処理にどのように影響するかについての議論を試みる.
|
-
-
-
-
[Presentation] L2 processing of subject-verb agreement (SVA): They hear it but can't process it?2021
Author(s)
Kiwako, I., Nakamura, C., Kylie, S., Traci, F., Thomas, N., Suzanne, F., Jongmin, J., & Bethany, F.
Organizer
Architectures and Mechanisms for Language Processing (AMLaP 2021)
Int'l Joint Research
