| 研究実績の概要 |
聞き手が音声のプロソディー情報から喚起すると想定される語彙とは異なる情報を用いた文（下記の例文b）を用い, 聞き手が話し手のプロソディー情報に信頼を置くという意味でのreliabilityを操作した. これにより, 予測的処理におけるプロソディー情報への依存度がreliabilityによってどう変化し適応するのかについて被験者が音声を聞く際の視線の動きを計測するアイトラッキング実験から明らかにした. 具体的には, まず実験1で(a)の音声文と同時に音声上で言及される絵を含めたいくつかの例（紫の猫、赤い猫、オレンジのカニ、白い犬、等）をスクリーン上に提示し, ‘purple’に置かれた対比的アクセントから ‘cat’が予測されるか（‘cat’のオンセットよりも前に‘purple cat’への予測的注視が見られるか）を検証した. 実験2では, (b)の音声文で‘purple cat’を予測することで‘pig’を聞いたときに処理負荷が生じるかを調べるとともに, 実験の進行に伴い実験内での特殊な対比的アクセントの使われ方に学習が起き, ‘purple pig’を予測するようになるかを検証した.
(a) Reliable-speaker: First, find the red cat. Next, find the PURPLEL+H* cat.
(b) Unreliable-speaker: First, find the red cat. Next, find the PURPLE L+H* pig.
本実験について, 英語母語話者を対象とした実験は完了した一方, 日本語母語話者とフランス語母語話者についてはコロナ禍による対面実験制限により実験参加人数が限られた状態である.
|
| 今後の研究の推進方策 |
日本語とフランス語を母語とする英語学習者を対象にした実験を完了させる. その上で, アイトラッキング実験の結果とコネクショニストモデルを用い, プロソディー情報に基づいた文構造解析数理モデルの構築により実験結果のシミュレーションを行う. これにより, 言語情報のバリエーションに言語処理機能がどう対応しているかを考慮に入れた第二言語処理モデルを提案する. 具体的には, プロソディーのラベリング記述法（ToBI）を用いることでプロソディー情報を記号として入力し, 数理モデルがプロソディー情報に応じて正しい構造を学習できるかを検証する. ある層の出力が遡って入力される再帰結合機能を持つRecurrent Neural Networkを用いることで, ”The boy will touch (%) the frog (%) with the flower.”のようにプロソディー境界の位置（%）により文構造解釈が変化する規則性をモデルに学ばせる. 次のステップとして, 実際の言語産出によるプロソディーコーパスデータと長配列の順序付けにおける規則性を効率的に獲得することができるディープラーニングを組み合わせ, 様々な種類のプロソディー情報を提供することがコーパス内の発話を正しく解析するモデルの能力にどう影響するかを明らかにする. 最終的に, ディープラーニング機能により訓練されたモデルを実際のアイトラッキングデータと比較して評価を行い, モデルにより実験全体のパターンと個人差が説明できるかを検証する. その中で, モデルに対して異なる言語のコーパスデータに基づいた訓練を行い, この結果からある言語の知識が他の言語の処理にどのように影響するかについての議論を試みる.
|
