2019 Fiscal Year Research-status Report
項目露出率の最小化のための整数計画問題を用いた等質適応型テストの提案
| Project/Area Number |
18K18166
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 適応型テスト / eテスティング / Computer Based Testing / 項目反応理論 |
|---|
| Outline of Annual Research Achievements |
本研究では，テストの信頼性を向上する手法の一つである適応型テストの実運用における課題について取り組んでいる。適応型テストとは，受検者の項目への解答履歴から逐次的に能力を推定し，項目特性を管理するデータベースであるアイテムバンクから能力に適した項目を選択するテスト形式である。従来の適応型テストでは，能力が同等な受検者には同一の項目群が出題される可能性が高いため，受検者への項目内容の暴露につながり，テストの信頼性の低下要因となりうる。本研究では，整数計画問題を用いて項目の露出数を最小化し，能力が同等な受検者であっても，同一の測定精度を保ちつつ，異なる項目を適応的に出題できる等質適応型テストを提案する。本年度は，（1）シミュレーションを用いて多様な特性をもつ項目を非常に数多く生成し，大規模で多様なアイテムバンクにおいて提案手法の有効性を確認した。また，多様な特性をもつアイテムバンクにおいて，ランダムフォレストを用いて最適なパラメータ設定手法について検討した。（2）昨年度とは異なる，Computer Based Testingを実施している業者からアイテムバンクの特性情報を入手し，多様なテスト条件下での提案手法の有効性を詳細に検証した。これらの成果は，International Conference on Artificial Intelligence in Education，人工知能学会，日本テスト学会，日本行動計量学会で発表し，特に人工知能学会からJSAI 2019 Annual Conference Awardを受賞している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，計画通り，（1）シミュレーションを用いて大規模で多様なアイテムバンクにおいて提案手法の有効性を確認している。加えて，多様な特性をもつアイテムバンクには，ランダムフォレストを用いて最適なパラメータ設定手法を提案している。（2）新たに，Computer Based Testingを実施している業者からアイテムバンクの特性情報を入手し，多様なテスト条件下での提案手法の有効性を詳細に検証している。
|
| Strategy for Future Research Activity |
従来の手法では，露出項目数を記録し続ける必要があり，オフライン環境で実施することができなかった。
この問題を解決するため，今後の研究では，決定木を用いた等質適応型テストについて検討する。この手法では，事前に出題する項目を選択し，決定木を構築する。受検者には，事前に構築された決定木に基づいて項目を選択する。
|
