• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

信頼性向上を持続するeテスティング・プラットフォームの開発

Research Project

Project/Area Number 19H05663
Research InstitutionThe University of Electro-Communications

Principal Investigator

植野 真臣  電気通信大学, 大学院情報理工学研究科, 教授 (50262316)

Co-Investigator(Kenkyū-buntansha) 宇都 雅輝  電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
荒木 孝二  東京医科歯科大学, 統合教育機構, 教授 (70167998)
鶴田 潤  東京医科歯科大学, 統合教育機構, 准教授 (70345304)
宮澤 芳光  独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
大久保 智哉  独立行政法人大学入試センター, 研究開発部, 准教授 (80512136) [Withdrawn]
繁桝 算男  慶應義塾大学, 社会学研究科(三田), 訪問教授 (90091701)
Project Period (FY) 2019-06-26 – 2024-03-31
Keywordseテスティング / 等質テスト / 適応型テスト / パフォーマンステスト
Outline of Annual Research Achievements

研究課題では,高精度の測定誤差が継続的に持続するeテスティングを実現するプラットフォームを,近年ニーズが高まっている筆記試験や実技試験などのパフォーマンステストも対象に含んで開発し,実際の大規模テストに適用し有効性を示すことを目標としている.この目標に対し,当該年度は次の研究を行なった.1)最大クリークと並列整数計画法を用いて等質テストの生成数を大幅に増加させる技術を開発した.2)Deep-IRTの開発:等化などの操作を必要とせず,高精度に受検者の項目反応を予測できるDeep Learning を用いた新たな項目反応理論を開発した.3)項目露出を一様に抑えつつ,精度を維持できる等質テスト構成技術の開発を行い,それを組み込んだ適応型テスト技術の開発を行った.4)パフォーマンステストの信頼性向上技術:eテスティングのアプローチを用いて,評価者と受検者の組み合わせを最適化することで,パフォーマンステストの精度を高める技術を開発した.また,異質な評価者を検出し,特性に合わせた適切なトレーニングを与えるための新しい項目反応理論を開発した.小論文自動採点技術については,精度や頑健性を向上させる新たな技術を複数開発した.5)実証実験:医療系大学間共用試験の実技試験OSCEへの項目反応理論の適用を進めた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

上述の通り,本研究の要素技術についてはそれぞれ順調に開発・評価が進行しており,論文発表や学会発表もコンスタントに行っているため,「おおむね順調に進展している」と判断した.

Strategy for Future Research Activity

上述の通り,個別の要素技術については順調に開発が進行しており,研究成果の発表も随時行っている.今後も残りの開発を進めるとともに,研究成果の発表も随時行っていく.また,要素技術を統合したプラットフォームの開発を行い,現実のテスト場面での実証実験を通して有効性の評価とガイドラインの作成を行う.

  • Research Products

    (31 results)

All 2020 2019

All Journal Article (8 results) (of which Peer Reviewed: 7 results,  Open Access: 5 results) Presentation (23 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] Group Optimization to Maximize Peer Assessment Accuracy Using Item Response Theory and Integer Programming2020

    • Author(s)
      Uto Masaki、Nguyen Duc-Thien、Ueno Maomi
    • Journal Title

      IEEE Transactions on Learning Technologies

      Volume: 13 Pages: 91~106

    • DOI

      10.1109/TLT.2019.2896966

    • Peer Reviewed / Open Access
  • [Journal Article] 深層学習によるテスト理論:Item Deep Response Theory2020

    • Author(s)
      木下 涼、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J103-D Pages: 314~329

    • DOI

      10.14923/transinfj.2019JDP7068

    • Peer Reviewed / Open Access
  • [Journal Article] Augmented Naive Bayes制約をもつベイジアンネットワーク分類器の厳密学習2020

    • Author(s)
      菅原 聖太、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J103-D Pages: 301~313

    • DOI

      10.14923/transinfj.2019JDP7011

    • Peer Reviewed / Open Access
  • [Journal Article] アンサンブル学習によるモデル平均ベイジアンネットワーク分類器2020

    • Author(s)
      青見 樹、菅原 聖太、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J103-D Pages: 183~193

    • DOI

      10.14923/transinfj.2019JDP7059

    • Peer Reviewed / Open Access
  • [Journal Article] テスト理論と人工知能に基づくパフォーマンス評価の新技術2020

    • Author(s)
      宇都 雅輝
    • Journal Title

      教育システム情報学会誌

      Volume: 37 Pages: 8~18

    • DOI

      10.14926/jsise.37.8

  • [Journal Article] パフォーマンス評価における多次元項目反応モデル2019

    • Author(s)
      八木 嵩大、宇都 雅輝
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J102-D Pages: 708~720

    • DOI

      10.14923/transinfj.2019JDP7018

    • Peer Reviewed
  • [Journal Article] 論述式試験における評点データと文章情報を活用した項目反応トピックモデル2019

    • Author(s)
      宇都 雅輝
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J102-D Pages: 553~566

    • DOI

      10.14923/transinfj.2019JDP7007

    • Peer Reviewed
  • [Journal Article] 推移性を利用した大規模ベイジアンネットワーク構造学習2019

    • Author(s)
      本田 和雅、名取 和樹、菅原 聖太、磯崎 隆司、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J102-D Pages: 796~811

    • DOI

      10.14923/transinfj.2019JDP7033

    • Peer Reviewed / Open Access
  • [Presentation] アノテータのバイアスに頑健な小論文自動採点手法2020

    • Author(s)
      岡野将士,宇都雅輝
    • Organizer
      言語処理学会第26回年次大会
  • [Presentation] 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法2020

    • Author(s)
      内田優斗,宇都雅輝
    • Organizer
      言語処理学会第26回年次大会
  • [Presentation] 評価者バイアスに頑健な小論文自動採点手法2020

    • Author(s)
      岡野将士,宇都雅輝
    • Organizer
      第88回 人工知能学会 先進的学習科学と工学研究会
  • [Presentation] 項目反応理論と深層学習を用いた短答記述式問題自動採点手法2020

    • Author(s)
      内田優斗,宇都雅輝
    • Organizer
      第88回 人工知能学会 先進的学習科学と工学研究会
  • [Presentation] Uniform adaptive testing using maximum clique algorithm2019

    • Author(s)
      Maomi Ueno, Yoshimitsu Miyazawa
    • Organizer
      International Conference on Artificial Intelligence in Education (AIED)
    • Int'l Joint Research
  • [Presentation] Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability.2019

    • Author(s)
      Masaki Uto
    • Organizer
      International Conference on Artificial Intelligence in Education (AIED)
    • Int'l Joint Research
  • [Presentation] OSCEにおけるIRT利用について2019

    • Author(s)
      宇都雅輝
    • Organizer
      公益社団法人医療系大学間共用試験実施評価機構 試験信頼性向上部会第16回講演会
    • Invited
  • [Presentation] 時系列学習データを用いた隠れマルコフIRTによる高精度パフォーマンス予測2019

    • Author(s)
      堤瑛美子,宇都雅輝,植野真臣
    • Organizer
      第47回日本行動計量学会
  • [Presentation] 項目反応理論と機械学習技術を用いた小論文評価手法2019

    • Author(s)
      宇都雅輝
    • Organizer
      日本テスト学会第17回大会
  • [Presentation] 評価者バイアスを考慮した小論文自動採点手法2019

    • Author(s)
      岡野将士,宇都雅輝
    • Organizer
      情報処理学会第241回自然言語処理研究発表会
  • [Presentation] 受験者の解答履歴データを組み込んだ短答式問題自動採点手法2019

    • Author(s)
      内田優斗,宇都雅輝
    • Organizer
      NLP 若手の会 第14回シンポジウム
  • [Presentation] 臨床実習前OSCE正式実施以降の変化と現在の課題1:統計量の動向2019

    • Author(s)
      森本剛,仁田善雄,野上康子,内田啓子,吉田素文,宇都雅輝,中田優芽,大滝純司,齋藤宣彦
    • Organizer
      第51回医学教育学会全国大会
  • [Presentation] 臨床実習前OSCE正式実施以降の変化と現在の課題2:実施体制の動向2019

    • Author(s)
      吉田素文,内田啓子,森本剛,仁田善雄,野上康子,宇都雅輝,中田優芽,大滝純司,齋藤宣彦
    • Organizer
      第51回医学教育学会全国大会
  • [Presentation] Maximizing accuracy of group peer assessment using item response theory and integer programming2019

    • Author(s)
      Masaki Uto, Duc-Thien Nguyen, Maomi Ueno
    • Organizer
      第33回人工知能学会全国大会
  • [Presentation] Bayesian Knowledge Tracingの一般化としての隠れマルコフIRTモデル2019

    • Author(s)
      堤瑛美子,塩野谷周平,宇都雅輝,植野真臣
    • Organizer
      第33回人工知能学会全国大会
  • [Presentation] クリティカルシンキング検定試験の妥当性ー実験参加者のデータによる検討ー2019

    • Author(s)
      若山 昇,宮澤 芳光,宇都雅輝,植野 真臣
    • Organizer
      教育テスト研究センター年報
  • [Presentation] 最適化問題を用いた等質適応型テスト2019

    • Author(s)
      宮澤芳光,植野真臣
    • Organizer
      日本行動計量学会第47回大会
  • [Presentation] Computerized Adaptive Testing Method using Integer Programming to Minimize Item Exposure2019

    • Author(s)
      Yoshimitsu Miyazawa, Maomi Ueno
    • Organizer
      人工知能学会全国大会(第33回)
  • [Presentation] 歯科切削技術における人工歯切削とVRシミュレー ターの相関性に関する報告2019

    • Author(s)
      服部 旭威, 鶴田 潤, 木村 康之, 秀島 雅之, 荒木 孝二
    • Organizer
      日本シュミレーション医療教育学会
  • [Presentation] Study on the correlation between artificial tooth cutting and VR simulator2019

    • Author(s)
      Akitaka Hattori, Jun Turuta, Yasuyuki Kimura, Masayuki Hideshima, Kouji Araki
    • Organizer
      口腔病学会
  • [Presentation] 潜在変数を組み込んだモデルの説明力2019

    • Author(s)
      繁桝算男
    • Organizer
      日本行動計量学会第47回大会抄録集
  • [Presentation] 親の早期の対応が子どもの認知的達成や非認知的成熟に及ぼす影響の効果の評価2019

    • Author(s)
      繁桝算男, 古野公紀, 池本駿, 赤林英夫
    • Organizer
      日本教育心理学会第61回総会発表論文集
  • [Presentation] g因子は高次因子か、bi-factorか?2019

    • Author(s)
      繁桝算男, 古野公紀
    • Organizer
      日本テスト学会第17回大会発表論文抄録集

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi