| Research Abstract |
<研究(1):制限字数を考慮した,論文体テストによる評価の信頼性・評価構造・バイアスの検討>
受験者の高校生303名に対して,英語の早期教育に関する小論文課題Aと親の子育てのあり方に関する小論文課題Bが実施された.分析的評価データに対する因子分析及び共分散構造分析の結果,評価データは採点者や制限字数の違いによらず言語能力因子と文章能力因子の2因子で説明されることが示された.また,採点者間・採点者内の評価の安定性を検討した結果,評価観点の違いに応じて安定性は異なり,そして制限字数の要因は評価観点の違いに応じて異なる影響を与えていることが示唆された.さらに,内的一貫性の観点から多変量一般化可能性理論を用いて分析した結果,制限字数や評価法の違いによらず,採点者数を増やすよりも課題数を増やした方が,多くの場合内的一貫性の向上が期待できることなどが示唆された.
<研究(2):論文体テストデータへの,項目反応理論・多変量階層線形モデルの適用>
小論文試験や面接試験,パフォーマンステストなどに基づく能力評価には,採点者側と受験者側のバイアス要因の双方が影響する.本研究では能力評価データにおけるこれら二種類のバイアス要因の影響を同時に評価するための多値型項目反応モデルを提案した.また,母数の推定については,MCMC法に基づくアルゴリズムを利用し,その導出も行った.シミュレーション実験における母数の推定値の収束結果から推定方法の妥当性を確認し,提案した多値型項目反応モデルの適用例を示した.とりわけ,識別力の観点から熟練の採点者が優れていることが明らかになった.
階層線形モデルについては,技術的な側面に関する議論は学術誌(Proceedings)にも既に掲載されているが,今回入手した小論文評価データについては,階層線形モデルの適用は行わなかった.そのため,今後収集される小論文・パフォーマンス評価データにおいて検討する予定である.
|
