• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Exploring Task Achievement for improving scoring efficiency in English speaking tests

Research Project

Project/Area Number 22K00736
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 02100:Foreign language education-related
Research InstitutionKyoto Institute of Technology

Principal Investigator

神澤 克徳  京都工芸繊維大学, 基盤科学系, 准教授 (00747024)

Co-Investigator(Kenkyū-buntansha) 小林 雄一郎  日本大学, 生産工学部, 准教授 (00725666)
李 在鎬  早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
光永 悠彦  名古屋大学, 教育発達科学研究科, 准教授 (70742295)
田中 悠介  福岡大学, 公私立大学の部局等, 外国語講師 (10908825)
森 真幸  京都工芸繊維大学, 情報工学・人間科学系, 助教 (90528267)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords英語スピーキングテスト / 採点 / Task Achievement / 学習者話し言葉コーパス / 学習者コーパス / 評価・測定 / タスク達成度(Task Achievement) / リンガフランカとしての英語
Outline of Research at the Start

本研究は、英語スピーキングテストの重要な評価観点であるタスク達成度(Task Achievement)の構成要素を明らかにすることを目的とする。「リンガフランカとしての英語」が主流になっていることを考慮すると、スピーキングテストにおいては発音や文法よりも、英語を使って目的を達成できたかという、タスク達成度の評価が求められる。しかし、現状では、タスク達成度の構成要素が明らかになっておらず、採点者は自身の主観に基づいて評価せざるを得ない。本研究ではコーパス分析や採点者を対象とする調査によってこれを明らかすることで、採点の質向上や効率化、将来的なタスク達成度の自動採点システムの開発に貢献したい。

Outline of Annual Research Achievements

本研究は、研究代表者が開発に携わったKIT Speaking Testのデータや、本プロジェクトの前身となる科研費プロジェクトで研究代表者および分担者らが構築したKIT Speaking Test Corpus(KISTEC)を用いて、英語スピーキングテストなどのパフォーマンステストの採点基準の一つであるタスク達成度(Task Achievement)の構成要素を明らかにし、Task Achievementの採点効率化や自動採点システムの開発などに貢献することを目的とする。具体的には、(1)Task Achievementにはどのような能力・要素がどれほど関係(寄与)しているか、(2)また、それぞれの能力・要素はどのように関係し合っているか、の2点を明らかにする。そのための具体的なアプローチとして、KISTECを分析することで定量化可能な指標である「言語的指標」からのアプローチと、人間やAIの評価(スコア)にもとづく指標である「評価的指標」からのアプローチを採用する。
2023年度はこのうち、「言語的指標」からのアプローチを中心とし、KISTECを用いていくつかの基礎的な分析を行った。具体的には、分担者および外部の共同研究者とともに、(1)非流暢性現象(フィラー、繰り返し、自己訂正)と学習者の習熟度の関係、および、(2)コロケーションと学習者の習熟度の関係を分析した。
また、これらの分析と並行して、外部の共同研究者とともに、実用化を目指してTransformerを用いたTask Achievementの自動採点モデルの構築に着手した。これらの成果は国際学会を含む複数の学会やその予稿集で発表した。また、2024年度の発表に向け、いくつかの原稿を投稿した。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2023年度は研究代表者である神澤が、所属大学が行う文部科学省支援の「大学の国際化促進フォーラム」プロジェクトの推進にエフォートを割かれていたため、当初予定していたスピーキングテストの採点者を協力者とした検証を実施できなかった。

Strategy for Future Research Activity

2024年度は、2023年度に実施した「言語的指標」からのアプローチによる分析を継続して行う。それと並行して、2023年度に実施予定であったスピーキングテストの採点者を協力者とした検証を実施し、そのデータにもとづいて「評価的指標」からのアプローチによる分析を行う。2025年度にはその調査の結果をふまえ、Task Achievementの構成要素を特定し、論文等で成果を報告する。また、調査の際に使用したテストタスクや採点基準等を一般公開し、英語教育に貢献する。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (13 results)

All 2024 2023 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Open Access: 3 results) Presentation (6 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results) Remarks (2 results)

  • [Int'l Joint Research] The University of Melbourne(オーストラリア)

    • Related Report
      2023 Research-status Report
  • [Journal Article] Current status and future challenges of an ELF speaking test: Development of the KIT Speaking Test2024

    • Author(s)
      Katsunori Kanzawa
    • Journal Title

      日本「アジア英語」学会第52回全国大会予稿集

      Volume: - Pages: 52-54

    • Related Report
      2023 Research-status Report
  • [Journal Article] 英語学習者の発話にみられる非流暢性に関する考察:自己訂正と反復・フィラーの関係性2024

    • Author(s)
      近大志, 瀬戸口彩花, 田中悠介, 神澤克徳
    • Journal Title

      言語処理学会第30回年次大会発表論文集

      Volume: - Pages: 3166-3170

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Journal Article] 横展開を想定した英語スピーキングテストアプリケーションの開発2023

    • Author(s)
      森 真幸, 神澤 克徳, 鈴木 駿吾, 光永 悠彦
    • Journal Title

      第48回教育システム情報学会全国大会講演論文集

      Volume: - Pages: 305-306

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Journal Article] 日本語を母語とする英語学習者が使用するフィラーの分析:習熟度との関連性および英語母語話者との比較から2023

    • Author(s)
      田中 悠介, 瀬戸口 彩花, 近 大志, 神澤 克徳
    • Journal Title

      英語コーパス学会 大会予稿集2023

      Volume: - Pages: 13-18

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Presentation] Current status and future challenges of an ELF speaking test: Development of the KIT Speaking Test2024

    • Author(s)
      Katsunori Kanzawa
    • Organizer
      52nd National Conference of the Japanese Association for Asian English
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 英語学習者の発話にみられる非流暢性に関する考察:自己訂正と反復・フィラーの関係性2024

    • Author(s)
      近大志, 瀬戸口彩花, 田中悠介, 神澤克徳
    • Organizer
      言語処理学会第30回年次大会(NLP2024)
    • Related Report
      2023 Research-status Report
  • [Presentation] 横展開を想定した英語スピーキングテストアプリケーションの開発2023

    • Author(s)
      森真幸, 神澤克徳, 鈴木駿吾, 光永悠彦
    • Organizer
      第48回教育システム情報学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Differences in collocation use across English proficiency levels in a localized speaking test2023

    • Author(s)
      Katsunori Kanzawa, Ivy Chen
    • Organizer
      9th Annual International Conference of the Asian Association for Language Assessment (AALA)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 日本語を母語とする英語学習者が使用するフィラーの分析:習熟度との関連性および英語母語話者との比較から2023

    • Author(s)
      田中悠介, 瀬戸口彩花, 近大志, 神澤克徳
    • Organizer
      英語コーパス学会 第49回大会(30周年記念大会)
    • Related Report
      2023 Research-status Report
  • [Presentation] Collocation use in a Japanese university-wide test of spoken English: Differences across proficiency levels2023

    • Author(s)
      Ivy Chen, Katsunori Kanzawa
    • Organizer
      ALTAANZ Conference 2023
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Remarks] KIT Speaking Test Corpus(KISTEC)

    • URL

      https://kitstcorpus.jp/

    • Related Report
      2023 Research-status Report
  • [Remarks] KIT Speaking Test Corpus (KISTEC)ウェブサイト

    • URL

      https://kitstcorpus.jp

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi