Development of a Computer Adaptive Vocabulary Size Test in a Meaning Recall Format

Research Project

Project/Area Number	22K18474
Research Category	Grant-in-Aid for Challenging Research (Exploratory)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 2:Literature, linguistics, and related fields
Research Institution	Kobe City University of Foreign Studies
Principal Investigator	濱田彰神戸市外国語大学, 外国語学部, 准教授 (50779626)
Co-Investigator(Kenkyū-buntansha)	相澤一美東京電機大学, 工学部, 教授 (00222448) 磯達夫東京電機大学, 工学部, 教授 (40438916) 星野由子千葉大学, 教育学部, 准教授 (80548735) 小島ますみ岐阜市立女子短期大学, その他部局等, 准教授 (40600549) 小林雄一郎日本大学, 生産工学部, 准教授 (00725666)
Project Period (FY)	2022-06-30 – 2025-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000) Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000) Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000) Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords	第二言語習得 / 英語教育 / コンピュータ適応型テスト / 項目反応理論 / 語彙サイズ / テスティング / コーパス / データバンク / 語彙
Outline of Research at the Start	本研究では，1980年代から現在に至るまで，多肢選択形式で測定されてきた英語学習者の語彙サイズを，意味想起形式で測定するためのコンピュータ適応型テストを開発する。具体的には，問題の識別力・困難度( を推定した項目バンクを構築し，受験者が意味を思い出せる単語の数（語彙サイズ）を正確かつ短時間で測定できるテストシステムを構築する。
Outline of Annual Research Achievements	本研究では，これまでは多肢選択形式で測定されてきた英語学習者の語彙サイズを，意味想起形式で測定するためのコンピュータ適応型テストを開発することに挑戦している。具体的には，問題の困難度・識別力を推定した項目バンクを構築し，受験者が意味を思い出せる単語の数（語彙サイズ）を正確かつ短時間で測定できるテストシステムを構築することを目的としている。３ヵ年の研究計画内で２つの課題を明らかにする。１．コンピュータ適応型テストは意味想起形式による英語語彙サイズを正確に測定できるか。２．コンピュータ適応型テストは意味想起形式の解答負担をどの程度軽減できるか。本研究の方法は，（１）教育用コーパスで作成された語彙頻度表に基づくテスト項目の作成，（２）項目反応理論によるテスト項目の困難度・識別力推定，および（３）自動テスト構成法によるコンピュータ適応型テストの運用と妥当化である。１年目となる2022年度は，教育用コーパス語彙頻度表から各頻度レベルを代表する単語を選定し，受験者の解答を自動採点するための模範解答データの作成を行った。実験では約500名の日本人大学生を対象に多肢選択式と意味想起形式による語彙サイズテストを実施し，意味想起形式における解答の正否を複数評価者が採点した。評価者間の不一致を解決し，採点の信頼性を算出しつつ，意味想起形式における解答のバリエーションをデータベースとして記録する作業を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究課題の申請時に計画していた１年目の内容をすべて網羅することができた。
Strategy for Future Research Activity	今後は２年目の研究計画および発展的課題に着手する。具体的には，１年目に作成したテスト項目の困難度と識別力を項目反応理論で推定する。得られた成果については学会や論文投稿という形で発表し，外部機関による客観的な評価を確認しながら研究を進めていく。