• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Item response theory for performance assessment and its applications

Research Project

Project/Area Number 17H04726
Research Category

Grant-in-Aid for Young Scientists (A)

Allocation TypeSingle-year Grants
Research Field Educational technology
Research InstitutionThe University of Electro-Communications

Principal Investigator

Masaki Uto  電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)

Project Period (FY) 2017-04-01 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥24,960,000 (Direct Cost: ¥19,200,000、Indirect Cost: ¥5,760,000)
Fiscal Year 2020: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2019: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2018: ¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000)
Fiscal Year 2017: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Keywordsパフォーマンス評価 / 項目反応理論 / eテスティング / 統計的自然言語処理 / eラーニング
Outline of Final Research Achievements

In performance assessment where human raters subjectively grade examinees’ performances, it is important to estimate examinee ability while removing effects of raters’ biases. The purpose of this study is to develop and evaluate item response theory (IRT) models for performance assessment that can estimate examinee ability while removing rater bias effects. Concretely, we conducted the following three studies. 1) Development of a new IRT model incorporating various rater characteristic parameters to improve robustness against aberrant raters. 2) Development of an efficient Markov chain Monte Carlo method using the No-U-Turn sampler algorithm for the proposed IRT model. 3) Extensions and applications of the proposed method for various performance assessment situations.

Academic Significance and Societal Importance of the Research Achievements

本研究で開発する技術は,記述・論述式試験や語学試験,実技試験をはじめ,オンライン学習環境における学習者同士の相互評価や入社試験・人事考課で行われる面接試験など,様々なパフォーマンス評価に活用できる.本技術は,パフォーマンス評価の基礎理論として広く活用される可能性が高く,その学術的・社会的インパクトは大きい.また,本研究の適用範囲は,教育評価分野に限定されない.本技術は,オンラインショップにおける商品のレイティングやクラウドソーシングの品質評価など,評価者を伴う様々な評価データに広く適用可能であり,様々な応用タスクの性能向上に寄与すると期待できる.

Report

(5 results)
  • 2020 Annual Research Report   Final Research Report ( PDF )
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (57 results)

All 2021 2020 2019 2018 2017

All Journal Article (14 results) (of which Peer Reviewed: 13 results,  Open Access: 5 results) Presentation (43 results) (of which Int'l Joint Research: 6 results,  Invited: 4 results)

  • [Journal Article] Item Response Theory for Rubric-Based Assessment2020

    • Author(s)
      宇都 雅輝、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J103-D Issue: 5 Pages: 459-470

    • DOI

      10.14923/transinfj.2019JDP7065

    • NAID

      120006901841

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2020-05-01
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Test Theory and Artificial Intelligence Based Technologies for Performance Assessment2020

    • Author(s)
      宇都雅輝
    • Journal Title

      Transactions of Japanese Society for Information and Systems in Education

      Volume: 37 Issue: 1 Pages: 8-18

    • DOI

      10.14926/jsise.37.8

    • NAID

      130007779467

    • ISSN
      1341-4135, 2188-0980
    • Year and Date
      2020-01-01
    • Related Report
      2020 Annual Research Report
  • [Journal Article] Accuracy of performance-test linking based on a many-facet Rasch model2020

    • Author(s)
      Masaki Uto
    • Journal Title

      Behavior Research Methods, Springer

      Volume: - Issue: 4 Pages: 1440-1454

    • DOI

      10.3758/s13428-020-01498-x

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Group Optimization to Maximize Peer Assessment Accuracy Using Item Response Theory and Integer Programming2020

    • Author(s)
      Uto Masaki、Nguyen Duc-Thien、Ueno Maomi
    • Journal Title

      IEEE Transactions on Learning Technologies

      Volume: 13 Issue: 1 Pages: 91-106

    • DOI

      10.1109/tlt.2019.2896966

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo2020

    • Author(s)
      Uto Masaki、Ueno Maomi
    • Journal Title

      Behaviormetrika

      Volume: Feb-47 Issue: 2 Pages: 469-496

    • DOI

      10.1007/s41237-020-00115-7

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] IRT Topic Model for Essay Type Tests Using Rating Data and Text Information2019

    • Author(s)
      宇都雅輝
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J102-D Issue: 8 Pages: 553-566

    • DOI

      10.14923/transinfj.2019JDP7007

    • NAID

      120006725287

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2019-08-01
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Item Responce Theory for Dynamic Assesment2019

    • Author(s)
      堤瑛美子・宇都雅輝・植野真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J102-D Issue: 2 Pages: 79-92

    • DOI

      10.14923/transinfj.2018JDP7022

    • NAID

      130007425319

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2019-02-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] パフォーマンス評価における多次元項目反応モデル2019

    • Author(s)
      八木嵩大・宇都雅輝
    • Journal Title

      電子情報通信学会論文誌D

      Volume: 10 Pages: 708-720

    • NAID

      120006727069

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Proposal of Uniform Adaptive Testing for Reducing Measurement Error Bias2018

    • Author(s)
      宮澤芳光・宇都雅輝・石井隆稔・植野真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J101-D Issue: 6 Pages: 909-920

    • DOI

      10.14923/transinfj.2017LEP0028

    • NAID

      120006549769

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2018-06-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Accuracy of Performance Test Equating Based on Item Response Theory Models with Rater Characteristic Parameters2018

    • Author(s)
      宇都雅輝
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J101-D Issue: 6 Pages: 895-908

    • DOI

      10.14923/transinfj.2017LEP0027

    • NAID

      120006549770

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2018-06-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Group Optimization Using Item Response Theory for Peer Assessment2018

    • Author(s)
      Nguyen Duc Thien・宇都雅輝・植野真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J101-D Issue: 2 Pages: 431-445

    • DOI

      10.14923/transinfj.2017JDP7040

    • NAID

      120006549764

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2018-02-01
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Robust Item Response Theory Model for Aberrant Raters in Peer Assessment2018

    • Author(s)
      宇都雅輝・植野真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J101-D Issue: 1 Pages: 211-224

    • DOI

      10.14923/transinfj.2017JDP7055

    • NAID

      120006549763

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2018-01-01
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Empirical Comparison of Item Response Theory Models with Rater's Parameters2018

    • Author(s)
      Masaki Uto, Maomi Ueno
    • Journal Title

      Heliyon, Elsevier

      Volume: 4 Issue: 5 Pages: 1-32

    • DOI

      10.1016/j.heliyon.2018.e00622

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Social constructivist approach of motivation: social media messages recommendation system.2018

    • Author(s)
      Sebastien Louvigne, Masaki Uto, Yoshihiro Kato, Takatoshi Ishii
    • Journal Title

      Behaviormetrika, Springer

      Volume: 45 Pages: 133-155

    • DOI

      10.1007/s41237-017-0043-7

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] ルーブリック評価における多次元4相型項目反応モデルの提案2021

    • Author(s)
      新田森・宇都雅輝
    • Organizer
      人工知能学会 第91回 先進的学習科学と工学研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] アノテータのバイアスを考慮した記述・論述式自動採点手法2021

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] OSCEにおけるIRT利用について2020

    • Author(s)
      宇都雅輝
    • Organizer
      公益社団法人医療系大学間共用試験実施評価機構 試験信頼性向上部会第18回講演会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] パフォーマンス型試験の課題とその解決に向けた人工知能研究の現在2020

    • Author(s)
      宇都雅輝
    • Organizer
      SCATE-21研究会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability.2020

    • Author(s)
      Masaki Uto
    • Organizer
      第19回情報科学技術フォーラム FIT2020, 情報処理学会(トップコンファレンスセッション)
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] ルーブリック評価のための多相項目反応モデル2020

    • Author(s)
      宇都雅輝・植野真臣
    • Organizer
      行動計量学会第48回大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] OSCEにおける項目反応理論の適用2020

    • Author(s)
      宇都雅輝・森本剛・野上康子・内田啓子・吉田素文・片桐瑞希・葛西一貴・川上智史・江藤一洋・齋藤宣彦・仁田善雄
    • Organizer
      第52回医学教育学会全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Neural Automated Essay Scoring Incorporating Handcrafted Features2020

    • Author(s)
      Masaki Uto, Yikuan Xie, Maomi Ueno
    • Organizer
      International Conference on Computational Linguistics
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Robust neural automated essay scoring using item response theory2020

    • Author(s)
      Masaki Uto, Masashi Okano
    • Organizer
      International Conference on Artificial Intelligence in Education
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automated short-answer grading using deep neural networks and item response theory2020

    • Author(s)
      Masaki Uto, Yuto Uchida
    • Organizer
      International Conference on Artificial Intelligence in Education
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] アノテータのバイアスに頑健な小論文自動採点手法2020

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      言語処理学会第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法2020

    • Author(s)
      内田優斗・宇都雅輝
    • Organizer
      言語処理学会第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 評価者バイアスに頑健な小論文自動採点手法2020

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      第88回 人工知能学会 先進的学習科学と工学研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 項目反応理論と深層学習を用いた短答記述式問題自動採点手法2020

    • Author(s)
      内田優斗・宇都雅輝
    • Organizer
      第88回 人工知能学会 先進的学習科学と工学研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability.2019

    • Author(s)
      Masaki Uto
    • Organizer
      International Conference on Artificial Intelligence in Education (AIED)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] OSCEにおけるIRT利用について2019

    • Author(s)
      宇都雅輝
    • Organizer
      公益社団法人医療系大学間共用試験実施評価機構 試験信頼性向上部会第16回講演会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 項目反応理論と機械学習技術を用いた小論文評価手法2019

    • Author(s)
      宇都雅輝
    • Organizer
      日本テスト学会第17回大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 評価者バイアスを考慮した小論文自動採点手法2019

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      情報処理学会第241回自然言語処理研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 受験者の解答履歴データを組み込んだ短答式問題自動採点手法2019

    • Author(s)
      内田優斗・宇都雅輝
    • Organizer
      NLP 若手の会 第14回シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 臨床実習前OSCE正式実施以降の変化と現在の課題1:統計量の動向2019

    • Author(s)
      森本剛・仁田善雄・野上康子・内田啓子・吉田素文・宇都雅輝・中田優芽・大滝純司・齋藤宣彦
    • Organizer
      第51回医学教育学会全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 臨床実習前OSCE正式実施以降の変化と現在の課題2:実施体制の動向2019

    • Author(s)
      吉田素文・内田啓子・森本剛・仁田善雄・野上康子・宇都雅輝・中田優芽・大滝純司・齋藤宣彦
    • Organizer
      第51回医学教育学会全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Maximizing accuracy of group peer assessment using item response theory and integer programming2019

    • Author(s)
      Masaki Uto, Duc-Thien Nguyen, Maomi Ueno
    • Organizer
      第33回人工知能学会全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] レイティングデータとテキスト情報を用いて受験者の能力を推定する項目反応トピックモデルの提案2019

    • Author(s)
      宇都雅輝
    • Organizer
      人工知能学会 第85回先進的学習科学と工学研究会(ALST)
    • Related Report
      2018 Annual Research Report
  • [Presentation] パフォーマンス評価における多次元項目反応モデルの提案と評価2019

    • Author(s)
      八木嵩大・宇都雅輝
    • Organizer
      人工知能学会 第85回先進的学習科学と工学研究会(ALST)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Item response theory without restriction of equal interval scale for rater's score2018

    • Author(s)
      Masaki Uto, Maomi Ueno
    • Organizer
      International Conference on Artificial Intelligence in Education
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] レビュアー特性を考慮した多次元項目反応モデルの提案2018

    • Author(s)
      八木嵩大・宇都雅輝
    • Organizer
      第21回情報論的学習理論ワークショップ (IBIS2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] OSCEにおけるIRT利用について2018

    • Author(s)
      宇都雅輝
    • Organizer
      公益社団法人医療系大学間教養試験実施評価機構 試験信頼性向上部会第14回講演会
    • Related Report
      2018 Annual Research Report
  • [Presentation] パフォーマンス評価における多次元項目反応モデル2018

    • Author(s)
      八木嵩大・宇都雅輝
    • Organizer
      日本テスト学会第16回大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ライティング能力を推定する項目反応トピックモデルの提案とエッセイ自動評価への応用2018

    • Author(s)
      宇都雅輝
    • Organizer
      日本テスト学会第16回大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] レイティングデータとテキスト情報を用いたライティング能力推定のための項目反応トピックモデル2018

    • Author(s)
      宇都雅輝
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] キーストロークデータに基づくライティングプロセス推定のための執筆者依存型隠れマルコフモデル2018

    • Author(s)
      宇都雅輝・宮澤芳光・加藤嘉浩・中島功滋・桑田一
    • Organizer
      教育システム情報学会第43回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 評価者パラメータを付与した多次元反応モデルの提案2018

    • Author(s)
      八木嵩大・宇都雅輝
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 学習者の能力の時系列変化を考慮した項目反応モデル2018

    • Author(s)
      堤瑛美子・宇都雅輝・植野真臣
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] パフォーマンス評価における多次元尺度を構成する項目反応モデル2018

    • Author(s)
      八木嵩大・宇都雅輝
    • Organizer
      人工知能学会 第83回先進的学習科学と工学研究会(ALST)
    • Related Report
      2018 Annual Research Report
  • [Presentation] キーストロークデータからライティングプロセスを推定する執筆者依存型隠れマルコフモデルの提案2018

    • Author(s)
      宇都雅輝・宮澤芳光・加藤嘉浩・中島功滋・桑田一
    • Organizer
      人工知能学会 第83回先進的学習科学と工学研究会(ALST)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 項目反応理論のパフォーマンス評価への応用2018

    • Author(s)
      宇都雅輝
    • Organizer
      公益社団法人医療系大学間教養試験実施評価機構 試験信頼性向上部会第13回講演会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ダイナミックアセスメントのための隠れマルコフIRTモデル2018

    • Author(s)
      堤瑛美子・宇都雅輝・植野真臣
    • Organizer
      第32回人工知能学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Group optimization to maximize peer assessment accuracy using item response theory2017

    • Author(s)
      Masaki Uto, Nguyen Duc Thien, Maomi Ueno
    • Organizer
      International Conference on Artificial Intelligence in Education
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A grouping method for optimizing peer assessment accuracy2017

    • Author(s)
      Nguyen Duc Thien, Masaki Uto, Maomi Ueno
    • Organizer
      日本教育工学会第33回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 異質評価者の特性を考慮した項目反応モデル2017

    • Author(s)
      宇都雅輝・植野真臣
    • Organizer
      行動計量学会第45回大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] ピアアセスメントの精度を最適化する自動グループ構成システム2017

    • Author(s)
      宇都雅輝・Nguyen Duc Thien・植野真臣
    • Organizer
      教育システム情報学会第42回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 評価者特性を考慮した項目反応理論における等化手法2017

    • Author(s)
      宇都雅輝・植野真臣
    • Organizer
      日本テスト学会第15回大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] ピアアセスメントの精度を最適化するグループ構成手法2017

    • Author(s)
      Nguyen Duc Thien・宇都雅輝・植野真臣
    • Organizer
      日本テスト学会第15回大会
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2017-04-28   Modified: 2022-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi