2015 Fiscal Year Annual Research Report
潜在ランク理論の応用によるコンピュータ適応型英語熟達度診断テストの開発
| Project/Area Number |
25284112
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
杉野 直樹 立命館大学, 情報理工学部, 教授 (30235890)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
清水 裕子 立命館大学, 経済学部, 教授 (60216108)
荘島 宏二郎 独立行政法人大学入試センター, 研究開発部, 准教授 (50360706)
山川 健一 安田女子大学, 文学部, 准教授 (00279077)
大場 浩正 上越教育大学, 学校教育研究科(研究院), 教授 (10265069)
中野 美知子 早稲田大学, 教育・総合科学学術院, 名誉教授 (70148229)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 英語熟達度 / 能力記述文 / 潜在ランク理論 / 大学入試センター試験 / 文法性判断 / 項目特性 |
|---|
| Outline of Annual Research Achievements |
2015年度は、アイテム・バンク整備の基礎研究として、潜在ランク理論（以下、LRT）に基づく各項目の困難度と項目応答理論（以下、IRT）に基づく項目困難度の比較を行った。当初、(1) 文処理における意味的・統語的手がかりへの依存度を測定するテスト（データは正誤の二値データ）と、(2) 与格交替、非対格／非能格動詞、心理動詞、関係節、wh-疑問文 といった文法項目での習熟度を測定する文法性判断テスト（データは文法性判断の確信度を含む多値データ）の２種類５セットのテストに含まれる273項目を対象とした。項目困難度の推定がテストおよび被験者に影響されることを回避するため、(1)のテストと文法性判断テストの少なくとも１セットに回答した430名のデータと、文法性判断項目によって編集した等化用テストを受検した129名のデータを元に２種類５セットのテストの尺度を等化した。その上で、1355名から得た回答データを用いてIRT・LRTそれぞれに基づいて全項目の困難度を推定した。しかし、IRTに基づく項目困難度（bパラミタ値）とLRTに基づく項目困難度（beta；正答確率が最初に50%を超えるランク）との間に高い相関は観察されなかった。そのため、(1)のテスト項目を外した225項目を対象とし、LRTに基づく項目困難度を「高い確信度をもって正しく判断できる確率が60%を超えるランク」と再定義して再度分析を行った。この結果、IRTでのbパラミタ値とLRTでの項目困難度の間には高い相関が得られた。このことは、段階尺度を前提とするLRTによる困難度推定は十分に正確であり、連続尺度を前提とするが故に発達を段階的に捉えられないというIRTの限界をLRTの援用により補うことができることを示している。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
当初、CAT開発・運用、およびそのCATを活用した新規文法項目の拡充を予定していたが、2015年度はCAT用のアイテム・バンク構築に必要となる基礎研究を行ったため、交付申請時の計画を見直す必要が生じている。
|
| Strategy for Future Research Activity |
本研究課題ではコンピュータ適応型テスト（CAT）の開発・運用という形でこれまでの研究活動で得られた知見を社会に還元することを企図してきた。しかし、
(1) 対象とした文法能力の内、複数の要素についてその発達が必ずしも直線的でないことから、LRTに基づいた自動的なランク推定が困難であったこと
(2) 二値データで表現される項目と多値データで表現される項目の不均衡により、多値項目のランク推定が二値項目のランク推定の強い影響下で安定しなかったこと
(3) 当初、代表者がCATサイトを管理・運営する予定であったが、長期的な管理・運営には技術的な限界があること
など、研究計画当初には想定できていなかった課題に直面したため、CAT開発・運用を断念せざるを得なくなった。加えて、CATの運用後、新規項目を追加し対象とする文法項目を増やす予定であったが、CAT運用断念により効率的なアイテム・バンク拡充の実現も困難な状況となっている。
一方、LRTによる項目困難度の推定方法について具体的な手順を確立できたこと、またその結果として、英語文法能力の発達が段階的に把握できたことは研究の確かな進展であったと考えている。こうした成果を含め、研究代表者・分担者らの過去５期15年にわたる研究活動の経緯と蓄積してきた知見を体系的に総括し、今後の英語教育学研究への示唆をまとめることを2016年度の目標とする。
|
| Causes of Carryover |
研究者の学内役職に伴う業務多忙化や研究環境の著しい変化のため、当初の想定以上に学会参加、データ収集が困難となった。また、トルコ・イスタンブールで開催される国際学会で成果発表を行う予定であったが、昨今の国際情勢を考慮し、参加を見送った。加えて、CAT開発・運営の断念によりサーバ管理運用経費が不要となった。
|
| Expenditure Plan for Carryover Budget |
研究成果の体系的総括の出版を目指した編集会議開催に必要となる旅費・会場費などの経費、未公刊となっている論文の公刊に向けた掲載費・英文校閲費などに充当する。
|
