Development of a Computer Adaptive Vocabulary Size Test in a Meaning Recall Format

Research Project

Project/Area Number	22K18474
Research Category	Grant-in-Aid for Challenging Research (Exploratory)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 2:Literature, linguistics, and related fields
Research Institution	Kobe City University of Foreign Studies
Principal Investigator	濱田彰神戸市外国語大学, 外国語学部, 准教授 (50779626)
Co-Investigator(Kenkyū-buntansha)	相澤一美東京電機大学, 工学部, 教授 (00222448) 磯達夫東京電機大学, 工学部, 教授 (40438916) 星野由子千葉大学, 教育学部, 准教授 (80548735) 小島ますみ名古屋大学, 言語教育センター, 准教授 (40600549) 小林雄一郎日本大学, 生産工学部, 准教授 (00725666)
Project Period (FY)	2022-06-30 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000) Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000) Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000) Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords	英語教育 / 語彙指導 / コンピュータ適応型テスト / 項目反応理論 / 語彙サイズ / テスティング / コーパス / データバンク / 第二言語習得 / 語彙
Outline of Research at the Start	本研究では，1980年代から現在に至るまで，多肢選択形式で測定されてきた英語学習者の語彙サイズを，意味想起形式で測定するためのコンピュータ適応型テストを開発する。具体的には，問題の識別力・困難度( を推定した項目バンクを構築し，受験者が意味を思い出せる単語の数（語彙サイズ）を正確かつ短時間で測定できるテストシステムを構築する。
Outline of Annual Research Achievements	本研究では，従来は多肢選択形式で測定されてきた英語学習者の語彙サイズを，意味想起形式で測定するためのコンピュータ適応型テストを開発することに挑戦している。具体的には，問題の困難度・識別力( を推定した項目バンクを構築し，受験者が意味を思い出せる単語の数（語彙サイズ）を正確かつ短時間で測定できるテストシステムを構築することに取り組んでいる。２年目の研究では、意味想起型語彙サイズと，単語の頻度や英語習熟度レベルとの関係を調査した。大学生を対象にマトリックス・サンプリングによるテスト項目の大規模試行調査を行い，解答データを基に，各テスト項目の困難度と識別力を項目反応理論で解析した。さらに，語彙サイズテストで各単語の意味を想起できる確率を計算し，単語頻度と英語習熟度レベルによる語彙サイズの変動を，意味認識型語彙サイズと比較する形で検証した。結果，ほとんどの学習者が2000語レベル以上の単語の意味を学習するのに苦労していることを示すことができた。意味想起と意味認識の語彙サイズの違いは大きく，単語頻度と英語習熟度レベルが低下するにつれてその差が拡大することが明らかとなった。これらの結果を基に，語彙指導における妥当な到達目標を立て，適切な指導方法を選択するための方針を策定中である。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究計画の２年目は，（１）１年目に作成した語彙サイズテスト項目の困難度と識別力を項目反応理論で推定し，（２）テストの項目バンクに含める適切なテスト項目を選定した。これは当初の計画通りである。また，項目反応理論による意味想起型語彙サイズの推定結果について論文を投稿し，審査中である。さらに，研究計画の３年目に向けて，ChatGPTによる自動採点の可能性を追求している。
Strategy for Future Research Activity	今後は３年目の研究計画および発展的課題に着手する。具体的には，２年目で解析した語彙サイズテスト項目の困難度・識別力をもとに，自動テスト構成法によるコンピュータ適応型テストの開発を行う。さらに，その妥当性と実用性を，大規模モニター調査により明らかにする。得られた成果については学会や論文投稿という形で発表し，外部機関による客観的な評価を確認しながら研究を進めていく。