2020 Fiscal Year Research-status Report
Development and Evaluation of Ordered Multiple-Choice Items with Distractors at Various Difficulty Levels
| Project/Area Number |
20K14177
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
寺尾 尚大 独立行政法人大学入試センター, 研究開発部, 助教 (70827055)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 順序多肢選択式項目 / 誤答選択肢 / 系統的錯乱枝生成法 / 選択肢リスト |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，受験者の能力に関する情報を最大限に引き出す誤答選択肢の組み合わせ方を解明するため，多様な誤答選択肢の難易度の順序性や階層性を操作した多肢選択式問題（順序多肢選択式問題）の開発と評価を行うことである。本研究では一貫して，英語文章読解問題を題材とした検討を行う。
本研究の1年目にあたる令和2年度は，研究1「選択肢リスト内の難易度のバラつきに関する検討」を実施した。研究1では，「設問文は同一であるが提示される選択肢が異なる」四択問題を1問につき9パターン作成し，調査に用いた。問題作成にあたっては，「選択肢リストの作成」と「実験計画法を用いた選択肢の配置」の2つのステップを経ることとした。まず「選択肢リストの作成」では，英語文章読解を行う上での誤答の特徴を分類した先行研究を参照し，3種類の誤答の特徴（レベル1～3）および正答（レベル4）を反映させた選択肢を3本ずつ作成して，レベル別に誤答選択肢リストを構成した。次に「実験計画法を用いた選択肢の配置」では，レベル1～4の選択肢が1本ずつ含まれ，かつ他のリストに含まれるすべての選択肢との組み合わせが実現するように，直交表を利用して選択肢の配置を工夫した。
上記の手順で作成された調査用問題を複数個提示し，2021年3月に高校1～2年生228名に解答を求めた上で，同一レベル内の選択肢の難易度のバラつきについて調査した。複数パターンの問題への解答を効果的に収集するため，コンピュータを用いた試験 (CBT) として調査を行った。CBTの利点を生かし，調査終了後すぐに解答データの分析に着手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和2年度は，当初の計画通り，「研究1で使用する調査用問題の作成」と「解答データ収集」までが完了した。加えて，令和3年度の前半に予定していた「解答データの分析」についても着手することができた。
計画通りに進めることができた背景には，調査用問題の作成と解答データの収集の両面でCBTの利点を享受できた点，調査協力を依頼した高等学校からスムーズに承諾が得られた点が挙げられる。本研究の遂行にあたっては，「設問文が同一であるが提示する選択肢が異なる」タイプの調査問題を複数パターン作成できることが重要となるが，コンピュータの利点が活かされ，効果的に複製することができた。これにより，試験の編集に関するコストを最小限に減らし，スムーズな研究遂行を達成するに至った。また，解答データの収集をCBTで行ったことにより，紙筆試験の場合に生じる分析前の複数の工程をスキップでき，調査実施後すぐに統計分析に着手できた。結果として，研究計画を着実に遂行できたとともに，次年度のはじめに予定したステップを先取りして実施することができた。
さらに，調査協力を依頼した高等学校からスムーズに承諾が得られた点も，研究計画の進捗に多大な貢献をもたらした。令和2年7月頃から計画的に高等学校への調査協力依頼を進め，高等学校の対応可能な日程で調査を実施できたことで，年度内の解答データの収集を実現するに至った。
また，令和2年度の研究成果として，教育心理学関連の国内学術誌（教育心理学研究）に論文の採択が1件決定し，教育測定学関連の海外学会での発表を1件行った。
以上の点から，本研究は順調に進展していると言える。
|
| Strategy for Future Research Activity |
今後も，予定している研究計画を引き続き遅滞なく実施する方針である。令和3年度は，「1.研究1のデータの詳細な分析」「2.研究1の結果に基づく研究2の調査用問題の作成」を着実に実施する。また，「3.研究1の成果公表」についても実施する。
「1.研究1のデータの詳細な分析」については，令和2年度末に着手した基礎的分析をさらに深め，研究2に接続するための知見を得る。令和2年度末には，各選択肢の選択率を確認するところまでが完了した。令和3年度の前半までには，同一の正答選択肢をもつ問題群での誤答選択肢の難易度の検討，同一設問をもつ問題群での誤答選択肢の難易度の検討などを詳細に実施し，選択肢リストを用いた問題の評価を実施する。これにより，難易度にバラつきが生じやすい（生じにくい）選択肢リストの特徴を洗い出し，研究2につなげる。
「2.研究1の結果に基づく研究2の調査用問題の作成」については，1.の結果を踏まえて実施する。研究1から明らかになった選択肢リストごとの特性をもとに，選択肢の難易度の順序性や階層性を考慮した多肢選択式問題を作成する。
さらに「3.研究1の成果公表」にも積極的に取り組む。研究1から得られた知見については，国内・海外の学会において発表するとともに，海外の学術雑誌への論文投稿を実施する予定である。令和3年度は，学会発表を速やかに実施するとともに，論文作成にも着手し，年度内の投稿完了を目指す。
|
