Speaking Test for Foreign Languages Placement on Higher Education

• Project/Area Number: 20KK0005
• Research Category: Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 2:Literature, linguistics, and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: ボイクマン 総子 (椙本総子) 東京大学, 大学院総合文化研究科, 教授 (50370995)
• Co-Investigator(Kenkyū-buntansha): 松下 達彦 大学共同利用機関法人人間文化研究機構国立国語研究所, 研究系, 教授 (00255259) ; 根本 愛子 東京大学, 大学院総合文化研究科, 准教授 (80746701)
• Project Period (FY): 2020-10-27 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥12,740,000 (Direct Cost: ¥9,800,000、Indirect Cost: ¥2,940,000); Fiscal Year 2025: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2023: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: スピーキングテスト / プレースメント / 言語テスト / 第二言語習得 / 妥当性 / 信頼性 / スピーキング能力 / プレースメントテスト

Outline of Research at the Start

プレースメントのためのスピーキングテストであるSTAR (Speaking Test of Active Reaction)は、短時間で実施と判定ができるテスト（1人の学習者あたり１タスクの受験時間1分、その判定時間は１分ー２分）で、判定の信頼性（採点者間および採点者内の一貫性など評価の一貫性）も高いことがすでにある程度、実証されている。
本研究では、海外の日本語教育機関においても、STARが使用できるよう、1）STARのタスクと判定ルーツを開発・改良する。そして、２）日本語以外の言語のプレースメントテストでも使用できるよう、多言語テストタスクと多言語判定ツールを開発・改良する。

Outline of Annual Research Achievements

本研究は、海外の日本語教育機関においても使用できるよう、プレースメントのためのスピーキングテストであるSTAR (Speaking Test of ActiveReaction)のタスク（テスト問題）と判定ルーツ（ルーブリックと音声サンプル）を開発・改良することと、日本語以外の言語のプレースメントテストでも使用できるよう、多言語テストタスクと多言語判定ツールを開発・改良することである。
テストタスクとしては、難易度の異なる音読タスク５問、シャドーイングタスク５問、聞いた話を再話するタスク２問、絵描写タスク２問、状況対応タスク３問、意見述べタスク２問の計６種のタスクと１７問の設問を開発した。それぞれのタスクのルーブリック（判定表）も開発し、改良を重ねている。また、国内外から受験できるよう、オンラインで受験できる受験サイトを作成し、現在までに約250名の受験者の受験データを収集した。そして、オンラインでも評価が行えるよう、判定サイトも構築した。
日本語教師と非日本語教師による判定実験を行った結果、状況対応タスクについては、妥当性と信頼性の高いテストタスクであることが多相ラッシュ分析により明らかになった。2023年度は特にシャドーイングタスクを中心に、判定実験を行い、分析考察した。シャドーイングタスクは、正聞話率と流暢さが測定できるタスクであること、そして、漢字・語彙・読解テストとは相関がなく、スピーキングテストと相関があることがわかった。このことから、レベル判定テストで、聞いた内容と同じ内容を口頭で再生する能力を測定するタスクとしてシャドーイングを採用することは、テストの使用目的に適していると言えることがわかった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究の目的である、国内外の日本語教育機関においても使用できるよう、プレースメントのためのスピーキングテストであるSTAR (Speaking TestofActive Reaction)のタスク（テスト問題）と判定ルーツ（ルーブリックと音声サンプル）を開発・改良することについての研究は滞りなく進んでいる。しかし、目的の２つ目の、日本語以外の言語のプレースメントテストでも使用できるよう、多言語テストタスクと多言語判定ツールを開発・改良することについて、進捗に遅れが出ている。他言語については、それぞれの言語ですでに言語テストが充実していること、言語ごとにテスト開発事情が異なり、日本語を基にして作られたテストの参入は難しいためである。

Strategy for Future Research Activity

プレースメントのためのスピーキングテストであるSTARのタスク（テスト問題）と判定ルーツ（ルーブリックと音声サンプル）を開発・改良することについては、引き続き、多相ラッシュ分析などによる分析を行うことで、その妥当性を検証していく。特にまだ判定実験を行なっていない、聞いた話を再話するタスク、絵描写タスク、意見述べタスクについて検証を行なっていく。日本語以外の言語のプレースメントテストでも使用できるよう、多言語テストタスクと多言語判定ツールを開発・改良することについては、計画を改め、日本語のスピーキングテストを開発・改良することに集中し、多言語化については、言語フリーのプレースメントテストの要件について検討することにする。

Research Products

• [Int'l Joint Research] University of Melbourne(オーストラリア)
• [Journal Article] Examining the Rubric Focusing on the Level Distinction for Japanese Speaking Test: Analysis of the Ratings by Non-Japanese Language Teachers (2022)
  • Author(s): ボイクマン総子・根本愛子・松下
  • Journal Title: ことばの科学 Volume: 36 Pages: 41-56
  • DOI: 10.18999/stul.36.41
  • ISSN: 1345-6156
  • URL: https://nagoya.repo.nii.ac.jp/records/2004333
  • Year and Date: 2022-12-25
  • Open Access
• [Journal Article] スピーキングテスト判定における日本語教師と非日本語教師の比較-状況対応タスクに対する判定結果- (2022)
  • Author(s): ボイクマン総子・根本愛子・松下達彦
  • Journal Title: 社会言語科学 Volume: 24巻2号 Pages: 35-48
  • Peer Reviewed
• [Journal Article] プレースメントのための日本語スピーキングテスト-タスクと判定ツールの検証- (2020)
  • Author(s): ボイクマン総子・根本愛子・松下達彦
  • Journal Title: 日本語教育 Volume: 175 Pages: 146-154
  • NAID: 40022244784
  • Peer Reviewed
• [Journal Article] 状況対応タスクの非日本語教師による判定の分析―プレースメン トのための日本語スピーキングテストの検証― (2020)
  • Author(s): 根本愛子・ボイクマン総子・松下達彦
  • Journal Title: 日本語教育 Volume: 177 Pages: 1-16
  • NAID: 40022464013
  • Peer Reviewed
• [Presentation] Text Covering Efficiency and Word Tier Analysis for the Proposal of Vocabulary Learning Order and the Analysis of Text Genres (2023)
  • Author(s): MATSUSHITA, Tatsuhiko
  • Organizer: The International Quantitative Linguistics Association
  • Int'l Joint Research
• [Presentation] Part-of-speech Proportion as an Index of Formality and Informality: The Case of Japanese (2023)
  • Author(s): MATSUSHITA, Tatsuhiko
  • Organizer: The International Quantitative Linguistics Association
  • Int'l Joint Research
• [Presentation] 論証に基づく妥当性検証の枠組みによるスピーキングテストの検証―意見述べを例として― (2022)
  • Author(s): ボイクマン総子・根本愛子・松下達彦
  • Organizer: 日本語教育学会
• [Presentation] 日本語のスピーキングテストにおける音読およびシャドーイングタスクの開発と妥当性検証―「論証に基づく妥当性検証の枠組み」を用い て― (2021)
  • Author(s): ボイクマン総子・根本愛子・松下達彦
  • Organizer: 日本言語テスト学会
• [Presentation] L2英語及び日本語音声を対象とした自 動採点とその精度 (2021)
  • Author(s): 峯松信明・椢原卓弥・斉藤一弥・ボイクマン総子
  • Organizer: 言語教育 エキスポ 2020、大学英語教育学会（JACET）
• [Presentation] 英語学習者と日本語学習 者音声に対する多角的評価に関する実験的検討 (2021)
  • Author(s): 椢原卓弥・藩陽・斎藤大輔・峯松信明・斉藤一弥・ボイクマン総子
  • Organizer: 日本音響学会、2021年春季研究発表会