Developing and validating a computer-based diagnostic test of L2 oral fluency: A cognitive diagnostic modelling approach

• Project/Area Number: 22K13181
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 02100:Foreign language education-related
• Research Institution: Waseda University
• Principal Investigator: 鈴木 駿吾 早稲田大学, グリーン・コンピューティング・システム研究機構, 次席研究員(研究院講師) (70935519)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 第二言語習得 / 流暢性 / 言語テスト / スピーキング / 診断テスト / 診断的評価

Outline of Research at the Start

英語スピーキングにおける「流暢性」に関する診断テストの開発及び妥当性検証を目的とする。以下２つの研究課題に取り組む。
①発話課題における流暢性得点と、語彙・文法・発音に関する診断テストの得点を関連づけることで、流暢性向上における言語知識の学習優先度・難易度を特定する。
②作成した診断テストの結果から導かれる英語学習法を実施することで、当該診断テストの教育現場における有用性を中心に妥当性検証を行う。

Outline of Annual Research Achievements

本研究は、実際の英語でのコミュニケーションにおいて、聞き手の理解を促す上で重要な 「流暢性」に関する診断テストの開発及び妥当性検証を目的とする。 当該研究目的は、以下の2つの研究課題を通して達成される。第一に、発話課題における流暢性得点と、外国語での発話産出メカニズムに基づいた語彙・文法・ 発音に関する診断テストの得点を関連づけることで、スピーキングの流暢性向上における言語知識の学習優先度・難易度の特定を行う。この診断テストは、 (1)第二言語スピーキング研究の最新の知見と言語テスト研究における認知診断モデリング手法を組み合わせるその学際性と、(2)自動採点による即時 フィードバックを特徴とする。 第二に、作成した診断テストの結果から導かれる優先すべき学習項目に関して、実際に第二言語習得研究に基づく英語学習法を実施することで、当該診断テスト の教育 現場における有用性を中心に妥当性検証を行う。当該診断テストの開発過程から得られる研究結果は、第二言語スピーキング研究、言語テスト研究各分 野の課題解決の一助として用いられながら、両研究分野の学際的な結びつきをより一層強めることが期待される。 2023年度は、予備調査として位置付けられる論文のうち二つ目を国際誌から出版した。また本調査のための自動テスト項目生成の方法と妥当性検証実験について検討した。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

先述の通り、オンライン版の認知流暢性テストのテスト項目の自動生成器の設計に従事したが、適切な事前学習モデルなどの探索・検証に時間がかかっている。また、申請者が研究代表者を務めている他研究プロジェクトの多忙さも相まって、予定より遅れている。

Strategy for Future Research Activity

研究補助員を雇用し、本研究の主たる実験として、自動生成された診断テストの有用性評価について、小規模なものから予備実験を開始する。2023年度には、多くの大規模言語モデルなどを用いた研究が目立ったため、それらを踏まえて、本研究のシステムの実装面に注力する。

Research Products

• [Journal Article] The moderating role of L2 proficiency in the predictive power of L1 fluency on L2 utterance fluency (2024)
  • Author(s): Suzuki Shungo、Kormos Judit
  • Journal Title: Language Testing Volume: - Issue: 1 Pages: 73-99
  • DOI: 10.1177/02655322241241851
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] The moderating role of L2 automaticity in the predictive power of L1 fluency for L2 utterance fluency (2023)
  • Author(s): Shungo Suzuki, Judit Kormos
  • Organizer: the 32nd annual conference of the European Second Language Association (EUROSLA)
  • Int'l Joint Research