2021 Fiscal Year Research-status Report
Development and Evaluation of Ordered Multiple-Choice Items with Distractors at Various Difficulty Levels
| Project/Area Number |
20K14177
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
寺尾 尚大 独立行政法人大学入試センター, 研究開発部, 助教 (70827055)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 順序多肢選択式項目 / 誤答選択肢 / 系統的錯乱枝生成法 / 選択肢リスト |
|---|
| Outline of Annual Research Achievements |
研究課題の2年目にあたる2021年度は，2020年度に収集した研究1の解答データの整理・分析作業を中心に行った。研究1では，多肢選択式の英語文章読解問題について，読解の誤りに関する共通の特徴をもった選択肢リストを作成し，そのリストから1つずつ，計4つの選択肢を抽出するような作成方法の効果を検討した。
古典的項目分析を実施した結果，同一リストに属する複数の誤答選択肢について，選択率（選ばれやすさ）が類似した傾向にあったケースと，異なる傾向にあったケースの両方が観察された。
ただし，項目識別力の低さが明らかになり，同一リストに含まれる誤答選択肢の選択状況の等質性・異質性をより適切に捉えるモデルの適用には至らなかった。2022年度に，研究1のデータ収集を改めて実施する準備を進めている。
また，順序多肢選択式問題に関する新たな分析視点を見出し，誤答選択肢の選択状況の間の連関について，沖積図 (alluvial plot) を用いて可視化する方法を開発した。この分析視点を活用し，順序多肢選択式問題の誤答選択肢間の関係性を効果的に把握することに成功した。この研究成果も利用して，研究1の解答データ分析を進めている最中である。なお，この分析視点に基づき別のオープンデータを用いた作図結果は，Educational Measurement: Issues and Practice誌の表紙に掲載される統計図表としてData Visualization Competitionに提出し，Winning Awardを獲得した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究1の解答データ分析作業について，2021年度に予定していたものを順調に進めたため。分析作業を進める中で，追加のデータ収集の必要性が示唆されたが，研究成果としてより確かな知見を得るための準備を実施しており，全体的には順調に進展していると言える。
|
| Strategy for Future Research Activity |
2022年度は，研究1の追加データ収集とともに，研究2のデータ収集もあわせて実施できるよう，研究活動のスピードを加速する。具体的には，本研究プロジェクト用に構築したCBTプラットフォームを通じて，できるだけ大人数の解答データを収集できるよう準備を進める。
|
| Causes of Carryover |
差引後額の231,803円について，新規のデスクトップPC (ワークステーション) の購入に充てる予定としていたが，販売事業者の納品が年度内に間に合わず，年度内に使用できなかった。
|
