| Project/Area Number |
21K12170
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 適応型テスト / 数理計画法 / eテスティング / Computer Based Testing / 項目反応理論 / Adaptive Testing / Computer adaptive test / Computer based testing |
|---|
| Outline of Research at the Start |
近年，入学試験や入社試験といったテストの信頼性を向上する手法として適応型テスト（Computerized adaptive testing）の実用化が強く期待されている。しかし，従来の適応型テストでは，試験問題の暴露数の減少とテストの測定精度の向上にはトレードオフの関係があリ，この二つのバランスを調整することが困難である。また，受検者に出題される項目数や測定精度について受検者間で大きな差が生じるために公平・公正な試験の実現が難しい。さらに，試験問題の暴露数が一元管理できない環境では実現できない。本研究では，これらの問題を解決するために新しい適応型テストのアルゴリズムを提案する。
|
| Outline of Annual Research Achievements |
適応型テストとは、受検者の能力値を逐次的に推定し、その能力値に応じて測定精度が最も高い項目を出題するコンピュータ・テスティングの出題形式である。その利点としては、測定精度を減少させずにテストの長さや受験時間を短縮できる。しかし、特定の項目群が頻繁に暴露される傾向があるため、項目内容が未受検者に共有され、テストの信頼性の低下要因となりうる。これらの問題を解決するため、先行研究では項目暴露を制御する適応型テストが提案されてきた。しかし、暴露数の減少と測定精度の向上にはトレードオフの関係が存在する。本研究では、このトレードオフを制御するため、２段階等質適応型テストを提案する。本年度は、従来の手法よりもさらに暴露数を減少させるアルゴリズムを定式化した。具体的には、まず、事前にアイテムバンクを分割して測定精度が等質な項目集合を複数構成する。受検時には、テストの前半に等質な項目集合から項目を選択し、受検者の能力推定値が収束し始めるテストの後半に受検者の能力値に応じた項目集合を構成して、その項目集合から項目選択する。項目集合の項目難易度分布は疎ではあるが、第1段階目では、過学習を避け、より高速に推定値が真の能力値近傍まで到達することが期待できる。第2段階目では、数理計画法を用いて受検者の能力値に応じて所望の測定精度の項目集合を構成し、その項目集合から項目を選択する。これにより、測定精度を制御しながら、アイテムバンクの項目を広く一様に活用することができる。シミュレーション実験と実データを用いた実験により2段階等質適応型の有効性を示した。これまでの成果は、日本テスト学会大会発表賞を受賞し、電子情報通信学会論文誌に掲載されている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、従来の手法を改善し、測定精度を制御しつつ暴露数を減少させることを目的とした２段階等質適応型テストの項目選択アルゴリズムを定式化した。 さらに、シミュレーションのデータと実データを用いて有効性を検証した。
|
| Strategy for Future Research Activity |
提案した手法では、グリットサーチを用いてパラメータを事前に設定する必要があり、パラメーターチューニングに時間がかかっていた。今後、パラメータを効率的に探索する手法を検討する。
|
Report
(2 results)
Research Products
(5 results)
