2021 Fiscal Year Research-status Report
| Project/Area Number |
21K12170
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | Computer Based Testing / Adaptive Testing / eテスティング / 項目反応理論 |
|---|
| Outline of Annual Research Achievements |
適応型テストとは，受検者の能力値を逐次的に推定し，その能力値に応じて測定精度が最も高い項目を出題するコンピュータ・テスティングの出題形式である。適応型テストは，測定精度を減少させずに，テストの長さや受験時間を短縮できる。しかし，同一の受検者が複数回受験した場合には，同一の項目群が出題される傾向がある。また，特定の項目群が頻繁に暴露される傾向があるため，項目内容の暴露につながり，テストの信頼性の低下要因となりうる。これらの問題を解決するため，項目暴露を制御する適応型テストが提案されてきた。しかし，暴露数の減少と測定精度の向上にはトレードオフの関係が存在する。本年度は，このトレードオフを制御するため，2段階等質適応型テストを提案した。本手法は，事前にアイテムバンクを分割して測定精度が等質な項目集合を複数構成する。次に，テストの前半に項目集合から項目選択し，受検者の能力推定値が収束し始めるテストの後半にアイテムバンク全体から項目選択する。項目集合の項目難易度分布は疎ではあるが，第1段階では，過学習を避け，より高速に推定値が真の能力値近傍まで到達することが期待できる。第2段階ではアイテムバンクの項目集合全体を用いるが，能力推定値は収束し始めており，暴露分布の偏りは大きくはならないと考えられる。さらに，本年度は，シミュレーションのデータと実データを用いて提案手法の有効性を検証した。これらの成果は，学会等で報告し，論文誌に投稿中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画では，暴露数の減少と測定精度の向上のトレードオフを制御する手法として次のアルゴリズムを検討していた。このアルゴリズムは，(1)整数計画問題を用いて等質グループを構成する，(2)項目選択のたびに等質グループをランダムに選択する，(3)等質グループから測定精度が最も高い項目を選ぶ，(4)受検者は項目に解答する，(5)受検者の解答を自動採点し，その結果と解答履歴から受検者の能力を測定する，(6)終了条件を満たしていれば終了，そうでなければ項目の出題を繰り返す,という項目出題方略であった。しかし，このアルゴリズムでは，十分な測定精度の向上が見込めなかったため，2段階等質適応型テストを提案した。これにより，当初のアルゴリズムと比較し，学力の測定精度が向上し，信頼性の高い試験の実現が期待される。
|
| Strategy for Future Research Activity |
提案手法では，等質テスト構成の技術を用いて等質グループを構成している。等質テストとは，異なる項目から構成されたテストでありながら，受検者得点の予測誤差が等質なテスト群である。等質テストは，整数計画法に基づき逐次的に構築されていた。しかし，従来の方法では，等質テストの構成数が増加するにつれて，整数計画問題の探索時間が増加し，十分な数の等質テストの構成が困難になることが指摘されている。近年，等質テスト構成に関する研究では，並列処理の技術を用いて飛躍的に構成数を増やすことができるアルゴリズムが提案された。今後の研究では，このアルゴリズムを用いて等質グループを構築し，測定精度を低下させず，暴露数のさらなる減少を目指す。
|
| Causes of Carryover |
予定していた計算機の購入を次年度としたため。次年度には高性能の計算機を購入する。
|
Research Products
(2 results)
