• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Automated essay scoring focusing on argumentation structure based on probabilistic approach

Research Project

Project/Area Number 17K20024
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Research Field Applied informatics and related fields
Research InstitutionThe University of Electro-Communications

Principal Investigator

Uto Masaki  電気通信大学, 大学院情報理工学研究科, 助教 (10732571)

Project Period (FY) 2017-06-30 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2019: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2018: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2017: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords自動採点 / 深層学習 / トピックモデル / テスト理論 / 論理マイニング / 言語処理 / 小論文試験 / 論理性 / ディープラーニング / 議論マイング / 論理構造 / ベイジアンネットワーク / 自然言語処理 / 論証マイニング / 統計的機械学習 / ベイズ統計 / 小論文自動採点
Outline of Final Research Achievements

With an increasing need for large scale essay-writing tests, automated essay scoring (AES), which utilizes natural language processing and machine learning techniques to grade essays automatically, has been attracted wide attention. This study aimed to develop a new AES method focusing on “argument structure” by combining argument mining techniques, which is a state-of-the-art NLP technique. However, this approach did not improve the performance of AES sufficiently. On the other hand, during this research process, we found that conventional AES methods share the same bias factor, which may cause considerable performance degradation. Thus, this study developed a new AES method that can deal with the bias problem. The proposed method achieved a significant improvement in the AES performance. The results have been accepted in an academic journal and a top international conference.

Academic Significance and Societal Importance of the Research Achievements

本研究では,自動採点モデルへの組み込みが難しいとされてきた「論理性」を明示的に考慮することで自動採点の精度向上を目指した.しかし,近年の自動採点技術の高度化の影響もあり,この導入が必ずしも十分な性能改善に寄与しないことが明らかになった.他方で,本研究の過程で発見した「自動採点技術に共通するバイアス」の問題は,本質的でありながら,これまでは無視・軽視されてきた点であり,学術上も実用上も重要な指摘といえる.小論文自動採点技術は,実用化が強く望まれるにも関わらずその高精度化が困難な技術の一つであり,本研究における発見と進展は,挑戦的研究としての学術的にも社会的にも意義のあるものといえる.

Report

(4 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (30 results)

All 2020 2019 2018 2017

All Journal Article (8 results) (of which Peer Reviewed: 7 results,  Open Access: 4 results) Presentation (22 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Test Theory and Artificial Intelligence Based Technologies for Performance Assessment2020

    • Author(s)
      宇都雅輝
    • Journal Title

      Transactions of Japanese Society for Information and Systems in Education

      Volume: 37 Issue: 1 Pages: 8-18

    • DOI

      10.14926/jsise.37.8

    • NAID

      130007779467

    • ISSN
      1341-4135, 2188-0980
    • Year and Date
      2020-01-01
    • Related Report
      2019 Annual Research Report
  • [Journal Article] Time- and learner-dependent hidden Markov model for writing process analysis using keystroke log data.2020

    • Author(s)
      Masaki Uto, Yoshimitsu Miyazawa, Yoshihiro Kato, Koji Nakajima, Hajime Kuwata
    • Journal Title

      International Journal of Artificial Intelligence in Education, Springer

      Volume: - Issue: 2 Pages: 271-298

    • DOI

      10.1007/s40593-019-00189-9

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] IRT Topic Model for Essay Type Tests Using Rating Data and Text Information2019

    • Author(s)
      宇都雅輝
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J102-D Issue: 8 Pages: 553-566

    • DOI

      10.14923/transinfj.2019JDP7007

    • NAID

      120006725287

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2019-08-01
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Accuracy of Performance Test Equating Based on Item Response Theory Models with Rater Characteristic Parameters2018

    • Author(s)
      宇都雅輝
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J101-D Issue: 6 Pages: 895-908

    • DOI

      10.14923/transinfj.2017LEP0027

    • NAID

      120006549770

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2018-06-01
    • Related Report
      2018 Research-status Report
    • Peer Reviewed
  • [Journal Article] Learning Huge Bayesian Networks by RAI Algorithm Using Bayes Factor2018

    • Author(s)
      名取和樹・宇都雅輝・植野真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J101-D Issue: 5 Pages: 754-768

    • DOI

      10.14923/transinfj.2017JDP7089

    • NAID

      120006549766

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2018-05-01
    • Related Report
      2018 Research-status Report
    • Peer Reviewed
  • [Journal Article] Empirical Comparison of Item Response Theory Models with Rater's Parameters2018

    • Author(s)
      Masaki Uto, Maomi Ueno
    • Journal Title

      Heliyon, Elsevier

      Volume: 4 Issue: 5 Pages: 1-32

    • DOI

      10.1016/j.heliyon.2018.e00622

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Social constructivist approach of motivation: social media messages recommendation system.2018

    • Author(s)
      Sebastien Louvigne, Masaki Uto, Yoshihiro Kato, Takatoshi Ishii
    • Journal Title

      Behaviormetrika, Springer

      Volume: 45 Pages: 133-155

    • DOI

      10.1007/s41237-017-0043-7

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Diverse Reports Recommendation System Based on Latent Dirichlet Allocation2017

    • Author(s)
      Masaki Uto, Sebastien Louvigne, Yoshihiro Kato, Takatoshi Ishii, Yoshimitsu Miyazawa
    • Journal Title

      Behaviormetrika, Springer

      Volume: 44 Issue: 2 Pages: 425-444

    • DOI

      10.1007/s41237-017-0027-7

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] アノテータのバイアスに頑健な小論文自動採点手法2020

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      言語処理学会第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法2020

    • Author(s)
      内田優斗・宇都雅輝
    • Organizer
      言語処理学会第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 評価者バイアスに頑健な小論文自動採点手法2020

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      第88回 人工知能学会 先進的学習科学と工学研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 項目反応理論と深層学習を用いた短答記述式問題自動採点手法2020

    • Author(s)
      内田優斗・宇都雅輝
    • Organizer
      第88回 人工知能学会 先進的学習科学と工学研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability.2019

    • Author(s)
      Masaki Uto
    • Organizer
      International Conference on Artificial Intelligence in Education
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 項目反応理論と機械学習技術を用いた小論文評価手法2019

    • Author(s)
      宇都雅輝
    • Organizer
      日本テスト学会第17回大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 評価者バイアスを考慮した小論文自動採点手法2019

    • Author(s)
      岡野将士・宇都雅輝
    • Organizer
      情報処理学会第241回自然言語処理研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 受験者の解答履歴データを組み込んだ短答式問題自動採点手法2019

    • Author(s)
      内田優斗・宇都雅輝
    • Organizer
      NLP 若手の会 第14回シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] レイティングデータとテキスト情報を用いて受験者の能力を推定する項目反応トピックモデルの提案2019

    • Author(s)
      宇都雅輝
    • Organizer
      人工知能学会 第85回先進的学習科学と工学研究会(ALST)
    • Related Report
      2018 Research-status Report
  • [Presentation] Exact learning augmented naive Bayes classifier2018

    • Author(s)
      Shouta Sugahara, Masaki Uto, Maomi Ueno
    • Organizer
      International Conference on Probabilistic Graphical Models
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] ライティング能力を推定する項目反応トピックモデルの提案とエッセイ自動評価への応用2018

    • Author(s)
      宇都雅輝
    • Organizer
      日本テスト学会第16回大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 条件付き周辺尤度を用いたベイズ分類器の構造学習2018

    • Author(s)
      菅原聖太・宇都雅輝・植野真臣
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Research-status Report
  • [Presentation] Bayes factorを用いた制約ベースアプローチに基づく大規模ベイジアンネットワーク学習2018

    • Author(s)
      名取和樹・宇都雅輝・植野真臣
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Research-status Report
  • [Presentation] レイティングデータとテキスト情報を用いたライティング能力推定のための項目反応トピックモデル2018

    • Author(s)
      宇都雅輝
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Research-status Report
  • [Presentation] キーストロークデータに基づくライティングプロセス推定のための執筆者依存型隠れマルコフモデル2018

    • Author(s)
      宇都雅輝・宮澤芳光・加藤嘉浩・中島功滋・桑田一
    • Organizer
      教育システム情報学会第43回全国大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 文脈情報を用いた論理構造推定手法2018

    • Author(s)
      木下涼・宇都雅輝・植野真臣
    • Organizer
      行動計量学会第46回大会
    • Related Report
      2018 Research-status Report
  • [Presentation] キーストロークデータからライティングプロセスを推定する執筆者依存型隠れマルコフモデルの提案2018

    • Author(s)
      宇都雅輝・宮澤芳光・加藤嘉浩・中島功滋・桑田一
    • Organizer
      人工知能学会 第83回先進的学習科学と工学研究会(ALST)
    • Related Report
      2018 Research-status Report
  • [Presentation] 条件付き周辺尤度を用いたベイジアンネットワーク分類器学習2018

    • Author(s)
      菅原聖太・宇都雅輝・植野真臣
    • Organizer
      第32回人工知能学会全国大会
    • Related Report
      2018 Research-status Report
  • [Presentation] ディープラーニングを用いた文脈を考慮した論理構造推定手法の提案2018

    • Author(s)
      木下涼・宇都雅輝・植野真臣
    • Organizer
      第32回人工知能学会全国大会
    • Related Report
      2018 Research-status Report 2017 Research-status Report
  • [Presentation] LSTM による文脈を考慮した論証マイニング手法の提案2018

    • Author(s)
      木下涼・宇都雅輝・植野真臣
    • Organizer
      言語処理学会第24回年次大会
    • Related Report
      2017 Research-status Report
  • [Presentation] ベイズ機械学習によるテキストの論理構造抽出2017

    • Author(s)
      木下涼・宇都雅輝・植野真臣
    • Organizer
      情報論的学習理論と機械学習研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 小論文自動評価のための論理構造推定システム2017

    • Author(s)
      木下涼・宇都雅輝・植野真臣
    • Organizer
      日本教育工学会第33回全国大会
    • Related Report
      2017 Research-status Report

URL: 

Published: 2017-07-21   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi