研究課題
若手研究(A)
人間評価者の主観的な採点を伴う，記述・論述式試験や語学試験などのパフォーマンス評価では，評価者のバイアスの影響を取り除いて受検者の能力を測定することが重要となる．本研究では，そのような能力測定を実現できる手法のひとつとして実用化が期待されている「評価者特性を考慮した項目反応理論」に関する以下のテーマに取り組んだ．1）異質評価者に頑健な新たなモデルの開発，2）最先端のMCMCアルゴリズムによるパラメータ推定の効率化，3）様々な実践場面への適用を想定したモデル拡張と本技術の応用・運用方法の検討，および性能評価．これらの3つの研究テーマに関し，当初研究計画を上回る成果が得られた．
本研究で開発する技術は，記述・論述式試験や語学試験，実技試験をはじめ，オンライン学習環境における学習者同士の相互評価や入社試験・人事考課で行われる面接試験など，様々なパフォーマンス評価に活用できる．本技術は，パフォーマンス評価の基礎理論として広く活用される可能性が高く，その学術的・社会的インパクトは大きい．また，本研究の適用範囲は，教育評価分野に限定されない．本技術は，オンラインショップにおける商品のレイティングやクラウドソーシングの品質評価など，評価者を伴う様々な評価データに広く適用可能であり，様々な応用タスクの性能向上に寄与すると期待できる．
すべて 2021 2020 2019 2018 2017
すべて 雑誌論文 (14件) (うち査読あり 13件、 オープンアクセス 5件) 学会発表 (43件) (うち国際学会 6件、 招待講演 4件)
電子情報通信学会論文誌D 情報・システム
巻: J103-D 号: 5 ページ: 459-470
10.14923/transinfj.2019JDP7065
120006901841
教育システム情報学会誌
巻: 37 号: 1 ページ: 8-18
10.14926/jsise.37.8
130007779467
Behavior Research Methods, Springer
巻: - 号: 4 ページ: 1440-1454
10.3758/s13428-020-01498-x
IEEE Transactions on Learning Technologies
巻: 13 号: 1 ページ: 91-106
10.1109/tlt.2019.2896966
Behaviormetrika
巻: Feb-47 号: 2 ページ: 469-496
10.1007/s41237-020-00115-7
巻: J102-D 号: 8 ページ: 553-566
10.14923/transinfj.2019JDP7007
120006725287
巻: J102-D 号: 2 ページ: 79-92
10.14923/transinfj.2018JDP7022
130007425319
電子情報通信学会論文誌D
巻: 10 ページ: 708-720
120006727069
巻: J101-D 号: 6 ページ: 909-920
10.14923/transinfj.2017LEP0028
120006549769
巻: J101-D 号: 6 ページ: 895-908
10.14923/transinfj.2017LEP0027
120006549770
巻: J101-D 号: 2 ページ: 431-445
10.14923/transinfj.2017JDP7040
120006549764
巻: J101-D 号: 1 ページ: 211-224
10.14923/transinfj.2017JDP7055
120006549763
Heliyon, Elsevier
巻: 4 号: 5 ページ: 1-32
10.1016/j.heliyon.2018.e00622
Behaviormetrika, Springer
巻: 45 ページ: 133-155
10.1007/s41237-017-0043-7
