潜在ランク理論の応用によるコンピュータ適応型英語熟達度診断テストの開発

2013 Fiscal Year Annual Research Report

• Project/Area Number: 25284112
• Research Category: Grant-in-Aid for Scientific Research (B)
• Research Institution: Ritsumeikan University
• Principal Investigator: 杉野 直樹 立命館大学, 情報理工学部, 教授 (30235890)
• Co-Investigator(Kenkyū-buntansha): 清水 裕子 立命館大学, 経済学部, 教授 (60216108) ; 荘島 宏二郎 独立行政法人大学入試センター, 研究開発部, 准教授 (50360706) ; 大場 浩正 上越教育大学, 学校教育研究科, 教授 (10265069) ; 山川 健一 安田女子大学, 文学部, 准教授 (00279077) ; 中野 美知子 早稲田大学, 教育・総合科学学術院, 教授 (70148229)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Keywords: 英語読解能力 / 能力記述文 / 潜在ランク理論 / ヨーロッパ言語共通参照枠 / 大学入試センター試験 / 項目特性

Research Abstract

本研究は、英語熟達度と英語文法能力の発達段階を潜在ランク理論の援用により能力記述文の形で表現し、受検者にフィードバックするコンピュータ適応型テストの開発を最終的な目的としている。その第一段階として2013年度は、1. テスト項目バンクの拡充、2. 英語熟達度・英語文法能力発達に関する検討、の２つを研究課題とした。
このうち第２課題に関連して、大学入試センター試験実受検者のデータを利用した従来の研究では、８つの潜在ランクを特定した上で各潜在ランクの特徴を能力記述文の形で明らかにしている。しかし、その記述は使用された項目の項目特性の範囲に限定されているため、より広い適用範囲を持つ能力記述と対応づけることを目的として、大学入試センター試験で出題された項目群とヨーロッパ言語共通参照枠（CEFR）におけるレベルとの対応を調査した。
調査では、Aldersonらが開発した枠組みを用いて、一つの文章に基づいて回答する項目群（テストレット）をCEFRでのレベルに対応づけた。その結果、対象とした項目群はCEFRにおけるA1/A2・A2・A2/B1に対応していると判定されたが、このレベル判定は潜在ランクの高低に対応していないことが確認された。
この結果は、大学入試センター試験で使用された項目群が日本人英語学習者の英語リーディング技能の測定に適した範囲であったことを確認するものとなったが、従来の研究で得られた潜在ランクをCEFRでのレベルによって段階づけることが難しいことを示している。今回の分析ではテストレット毎にCEFRでのレベルを判定したため、より細やかな項目特性とCEFRレベルとの対応づけが今後の課題として残された。
2013年度は上記内容を環太平洋応用言語学会第18回国際大会で発表した他、公開研究会を開催（9月7日、於・立命館大学）し、これまでの研究成果を報告した。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究課題では、「テスト項目準備→テスト実施→分析評価→(新規)項目 の選別・編集(準備)」といった基本サイクルを繰り返し、受検者の潜在ランクを正確に特定できる項目群を蓄積し、テスト項目バンクを構築・整備することとしている。このテストを実施する上で多数の調査参加者の協力を仰ぐ必要があるが、初年度末時点では、調査参加者の確保が不十分であった。また、海外でのデータ収集に関しても、現地大学における倫理委員会への申請に時間を要している状況にある。オンラインでのテスト実施については、研究代表者の在外期間中のサーバの管理運営に不安があったため、現在は運用を停止している。

Strategy for Future Research Activity

既存データに基づく項目の選定、及び新規項目の準備と各所属機関において調査参加者の確保を継続して行う。2014年8月には、国際応用言語学会において、全般的な英語熟達度と英語文法能力を対応づけた上で、English Profile における criterial features と比較した結果を発表することが内定しており、今年度前半はこの発表に向けた準備を行う。研究代表者が帰国する2014年度後半はオンラインテスト用のサーバ運用を再開し、より多くのデータを収集する。

Expenditure Plans for the Next FY Research Funding

研究分担者が校務により予定していた海外学会参加を取りやめたため。
次年度中に３回の国際学会発表（オーストラリア、シンガポール、カナダ）により使用予定。

Research Products

• [Journal Article] Changes in Japanese EFL learners’ proficiency: An application of latent rank theory. (2014)
  • Author(s): Sugino, N., Shojima, K., Ohba, H., Yamakawa, K., Shimizu, Y., & Nakano, M.
  • Journal Title: In D. Vicari, A. Okada, G. Ragozini, C. Weihs (Eds.), Analysis and Modeling of Complex Data in Behavioural and Social Sciences Volume: 1 Pages: 1-8
  • Peer Reviewed
• [Presentation] Calibration of National Center Test Items against the Common European Framework of Reference for Languages
  • Author(s): Sugino, N., Nakano, M., Shimizu, Y., Shojima, K., Yamakawa, K., and Ohba, H.
  • Organizer: The 18th International Conference of Pan-Pacific Association of Applied Linguistics
  • Place of Presentation: Ajou University, Seoul, Korea