• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

パフォーマンス評価のための項目反応理論とその運用モデルの開発

研究課題

研究課題/領域番号 17H04726
研究機関電気通信大学

研究代表者

宇都 雅輝  電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)

研究期間 (年度) 2017-04-01 – 2021-03-31
キーワードパフォーマンス評価 / 項目反応理論 / eテスティング / eラーニング
研究実績の概要

本研究は,パフォーマンス評価の信頼性を改善する手法のひとつとして実用化が期待されている評価者特性を考慮した項目反応理論に関する以下のテーマに取り組むものである.1)異質評価者に頑健な新たなモデルの開発,2)最先端のMCMCアルゴリズムによるパラメータ推定の効率化,3)様々な実践場面への適用を想定したモデル適用と性能評価.
これに対し,令和2年度には次の研究を行なった.1)に関しては,開発したモデルのシミュレーション評価とデータ実験を行い,英文論文誌に投稿した.2)については,最先端のMCMCアルゴリズムの一つであるNo-U-Turnサンプラー・ハミルトニアンモンテカルロ法による推定手法を開発し,実験によりその有効性を評価した.成果は英文論文誌に投稿した.3)に関しては次の研究を行なった.3-1)ルーブリックを用いた評価のための多次元型拡張モデルを開発し,電子情報通信学会論文雑誌に成果を掲載.3-2)小論文の採点を想定し,統計的自然言語処理技術の一つである潜在ディリクレ配分法を組み込んだ拡張モデルを開発し,トップ国際会議のAIEDに掲載.3-3)医療系大学間共用試験の実データ適用を通した実証評価の実施.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

上記の通り,計画中の研究は全て順調に進行しており,研究成果も順次出版できているため.

今後の研究の推進方策

令和2年度には次を実施する.1)に関しては,最終成果が英文論文誌に採択・掲載する.2)については,最先端のMCMCアルゴリズムの一つであるNo-U-Turnサンプラー・ハミルトニアンモンテカルロ法による推定手法を開発し,その成果が英文論文誌に掲載する.3)に関しては,具体的には次の研究を行ない,それらの成果を論文誌に掲載する.3-1)ルーブリックを用いた評価のための拡張モデル開発,3-2)小論文の採点を想定し,統計的自然言語処理技術の一つである潜在ディリクレ配分法や深層学習モデルを組み込んだ拡張モデルの開発,3-3)MOOCsなどの大規模学習環境における相互評価の信頼性改善を目指したグループ構成最適化手法の開発,3-4)医療系大学間共用試験の実データ適用を通した実証評価,3-5)適切なモデル活用のための試験デザインの設計.

  • 研究成果

    (14件)

すべて 2020 2019

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (12件) (うち国際学会 1件、 招待講演 1件)

  • [雑誌論文] パフォーマンス評価における多次元項目反応モデル2019

    • 著者名/発表者名
      八木嵩大・宇都雅輝
    • 雑誌名

      電子情報通信学会論文誌D

      巻: 10 ページ: 708-720

    • DOI

      10.14923/transinfj.2019JDP7018

    • 査読あり
  • [雑誌論文] 論述式試験における評点データと文章情報を活用した項目反応トピックモデル2019

    • 著者名/発表者名
      宇都雅輝
    • 雑誌名

      電子情報通信学会論文誌D

      巻: 8 ページ: 553-566

    • DOI

      10.14923/transinfj.2019JDP7007

    • 査読あり
  • [学会発表] アノテータのバイアスに頑健な小論文自動採点手法2020

    • 著者名/発表者名
      岡野将士・宇都雅輝
    • 学会等名
      言語処理学会第26回年次大会
  • [学会発表] 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法2020

    • 著者名/発表者名
      内田優斗・宇都雅輝
    • 学会等名
      言語処理学会第26回年次大会
  • [学会発表] 評価者バイアスに頑健な小論文自動採点手法2020

    • 著者名/発表者名
      岡野将士・宇都雅輝
    • 学会等名
      第88回 人工知能学会 先進的学習科学と工学研究会
  • [学会発表] 項目反応理論と深層学習を用いた短答記述式問題自動採点手法2020

    • 著者名/発表者名
      内田優斗・宇都雅輝
    • 学会等名
      第88回 人工知能学会 先進的学習科学と工学研究会
  • [学会発表] Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability.2019

    • 著者名/発表者名
      Masaki Uto
    • 学会等名
      International Conference on Artificial Intelligence in Education (AIED)
    • 国際学会
  • [学会発表] OSCEにおけるIRT利用について2019

    • 著者名/発表者名
      宇都雅輝
    • 学会等名
      公益社団法人医療系大学間共用試験実施評価機構 試験信頼性向上部会第16回講演会
    • 招待講演
  • [学会発表] 項目反応理論と機械学習技術を用いた小論文評価手法2019

    • 著者名/発表者名
      宇都雅輝
    • 学会等名
      日本テスト学会第17回大会
  • [学会発表] 評価者バイアスを考慮した小論文自動採点手法2019

    • 著者名/発表者名
      岡野将士・宇都雅輝
    • 学会等名
      情報処理学会第241回自然言語処理研究発表会
  • [学会発表] 受験者の解答履歴データを組み込んだ短答式問題自動採点手法2019

    • 著者名/発表者名
      内田優斗・宇都雅輝
    • 学会等名
      NLP 若手の会 第14回シンポジウム
  • [学会発表] 臨床実習前OSCE正式実施以降の変化と現在の課題1:統計量の動向2019

    • 著者名/発表者名
      森本剛・仁田善雄・野上康子・内田啓子・吉田素文・宇都雅輝・中田優芽・大滝純司・齋藤宣彦
    • 学会等名
      第51回医学教育学会全国大会
  • [学会発表] 臨床実習前OSCE正式実施以降の変化と現在の課題2:実施体制の動向2019

    • 著者名/発表者名
      吉田素文・内田啓子・森本剛・仁田善雄・野上康子・宇都雅輝・中田優芽・大滝純司・齋藤宣彦
    • 学会等名
      第51回医学教育学会全国大会
  • [学会発表] Maximizing accuracy of group peer assessment using item response theory and integer programming2019

    • 著者名/発表者名
      Masaki Uto, Duc-Thien Nguyen, Maomi Ueno
    • 学会等名
      第33回人工知能学会全国大会

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi