A proposal of a practical method for ability estimation based on group peer assessment

Research Project

Project/Area Number	17K12940
Research Category	Grant-in-Aid for Young Scientists (B)
Allocation Type	Multi-year Fund
Research Field	Educational technology
Research Institution	Hokkaido University
Principal Investigator	Iwama Norikazu 北海道大学, 高等教育推進機構, 准教授 (70608900)
Project Period (FY)	2017-04-01 – 2020-03-31
Project Status	Completed (Fiscal Year 2019)
Budget Amount *help	¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2018: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2017: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Keywords	グループ学習 / 項目反応モデル / 高等教育 / ピアアセスメント / グループ活動
Outline of Final Research Achievements	I examined ability estimation with the Item Response Model proposed in Uto and Ueno(2016) that can be used for analyzing performance assessment data. In this study, I assumed that students in a course assessed one another through group activities and conducted a simulation study. As a result of the simulation study, in which I set a limit on the number of assessments in an unbalanced incomplete block design, it was revealed that under the condition of 40 or 60 students, abilities of students could be estimated accurately even when 50 percent of assessments were missing.
Academic Significance and Societal Importance of the Research Achievements	パフォーマンス評価データを項目反応モデルによって分析する研究はこれまでに存在したがそれらは理論的な検討の意味合いが強かったため，本研究では，高等教育における現実的な授業場面として，グループで評価を行うという状況を想定して研究を行った。また，従前の研究では，モデルの推定にはベイズ推定が主に採用されてきたが，統計モデルに詳しくない者にとってはそれを実践で利用することは難しい。そこで今回，項目反応モデルの推定で一般に利用される最尤推定のプログラムを作成し，いくつかの項目を指定すれば比較的容易に分析ができる環境を整えた。