• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

確率的アプローチに基づく小論文の論理性自動評価システムの開発

研究課題

研究課題/領域番号 17K20024
研究種目

挑戦的研究(萌芽)

配分区分基金
研究分野 応用情報学およびその関連分野
研究機関電気通信大学

研究代表者

宇都 雅輝  電気通信大学, 大学院情報理工学研究科, 助教 (10732571)

研究期間 (年度) 2017-06-30 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
2019年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2018年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2017年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
キーワード自動採点 / 深層学習 / トピックモデル / テスト理論 / 論理マイニング / 言語処理 / 小論文試験 / 論理性 / ディープラーニング / 議論マイング / 論理構造 / ベイジアンネットワーク / 自然言語処理 / 論証マイニング / 統計的機械学習 / ベイズ統計 / 小論文自動採点
研究成果の概要

近年,大規模な小論文試験のニーズ拡大に伴い,小論文自動採点技術が注目を集めている.本研究では,自動採点の精度改善を目標に,最先端の自然言語処理技術である論理マイニングを用いて「論理性」に焦点化した採点技術の開発を目指した.しかし,本アプローチでは,自動採点の性能を十分に向上できないことが明らかとなった.他方で,本研究の過程で,全ての自動採点技術の性能に影響を与えうる共通のバイアス要因が存在することを発見した.そこで本研究では,それらのバイアス要因を補正できる新たな自動採点技術の開発を進めた.本研究で開発した技術は自動採点の本質的な性能改善を達成し,その成果は論文誌とトップ国際会議に採択された.

研究成果の学術的意義や社会的意義

本研究では,自動採点モデルへの組み込みが難しいとされてきた「論理性」を明示的に考慮することで自動採点の精度向上を目指した.しかし,近年の自動採点技術の高度化の影響もあり,この導入が必ずしも十分な性能改善に寄与しないことが明らかになった.他方で,本研究の過程で発見した「自動採点技術に共通するバイアス」の問題は,本質的でありながら,これまでは無視・軽視されてきた点であり,学術上も実用上も重要な指摘といえる.小論文自動採点技術は,実用化が強く望まれるにも関わらずその高精度化が困難な技術の一つであり,本研究における発見と進展は,挑戦的研究としての学術的にも社会的にも意義のあるものといえる.

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (30件)

すべて 2020 2019 2018 2017

すべて 雑誌論文 (8件) (うち査読あり 7件、 オープンアクセス 4件) 学会発表 (22件) (うち国際学会 2件)

  • [雑誌論文] テスト理論と人工知能に基づくパフォーマンス評価の新技術2020

    • 著者名/発表者名
      宇都雅輝
    • 雑誌名

      教育システム情報学会誌

      巻: 37 号: 1 ページ: 8-18

    • DOI

      10.14926/jsise.37.8

    • NAID

      130007779467

    • ISSN
      1341-4135, 2188-0980
    • 年月日
      2020-01-01
    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] Time- and learner-dependent hidden Markov model for writing process analysis using keystroke log data.2020

    • 著者名/発表者名
      Masaki Uto, Yoshimitsu Miyazawa, Yoshihiro Kato, Koji Nakajima, Hajime Kuwata
    • 雑誌名

      International Journal of Artificial Intelligence in Education, Springer

      巻: - 号: 2 ページ: 271-298

    • DOI

      10.1007/s40593-019-00189-9

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 論述式試験における評点データと文章情報を活用した項目反応トピックモデル2019

    • 著者名/発表者名
      宇都雅輝
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J102-D 号: 8 ページ: 553-566

    • DOI

      10.14923/transinfj.2019JDP7007

    • NAID

      120006725287

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2019-08-01
    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] 評価者特性パラメータを付与した項目反応モデルに基づくパフォーマンス・テストの等化精度2018

    • 著者名/発表者名
      宇都雅輝
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J101-D 号: 6 ページ: 895-908

    • DOI

      10.14923/transinfj.2017LEP0027

    • NAID

      120006549770

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2018-06-01
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Bayes factorを用いたRAIアルゴリズムによる大規模ベイジアンネットワーク学習2018

    • 著者名/発表者名
      名取和樹・宇都雅輝・植野真臣
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J101-D 号: 5 ページ: 754-768

    • DOI

      10.14923/transinfj.2017JDP7089

    • NAID

      120006549766

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2018-05-01
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Empirical Comparison of Item Response Theory Models with Rater's Parameters2018

    • 著者名/発表者名
      Masaki Uto, Maomi Ueno
    • 雑誌名

      Heliyon, Elsevier

      巻: 4 号: 5 ページ: 1-32

    • DOI

      10.1016/j.heliyon.2018.e00622

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Social constructivist approach of motivation: social media messages recommendation system.2018

    • 著者名/発表者名
      Sebastien Louvigne, Masaki Uto, Yoshihiro Kato, Takatoshi Ishii
    • 雑誌名

      Behaviormetrika, Springer

      巻: 45 ページ: 133-155

    • DOI

      10.1007/s41237-017-0043-7

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Diverse Reports Recommendation System Based on Latent Dirichlet Allocation2017

    • 著者名/発表者名
      Masaki Uto, Sebastien Louvigne, Yoshihiro Kato, Takatoshi Ishii, Yoshimitsu Miyazawa
    • 雑誌名

      Behaviormetrika, Springer

      巻: 44 号: 2 ページ: 425-444

    • DOI

      10.1007/s41237-017-0027-7

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] アノテータのバイアスに頑健な小論文自動採点手法2020

    • 著者名/発表者名
      岡野将士・宇都雅輝
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法2020

    • 著者名/発表者名
      内田優斗・宇都雅輝
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 評価者バイアスに頑健な小論文自動採点手法2020

    • 著者名/発表者名
      岡野将士・宇都雅輝
    • 学会等名
      第88回 人工知能学会 先進的学習科学と工学研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 項目反応理論と深層学習を用いた短答記述式問題自動採点手法2020

    • 著者名/発表者名
      内田優斗・宇都雅輝
    • 学会等名
      第88回 人工知能学会 先進的学習科学と工学研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability.2019

    • 著者名/発表者名
      Masaki Uto
    • 学会等名
      International Conference on Artificial Intelligence in Education
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 項目反応理論と機械学習技術を用いた小論文評価手法2019

    • 著者名/発表者名
      宇都雅輝
    • 学会等名
      日本テスト学会第17回大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 評価者バイアスを考慮した小論文自動採点手法2019

    • 著者名/発表者名
      岡野将士・宇都雅輝
    • 学会等名
      情報処理学会第241回自然言語処理研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 受験者の解答履歴データを組み込んだ短答式問題自動採点手法2019

    • 著者名/発表者名
      内田優斗・宇都雅輝
    • 学会等名
      NLP 若手の会 第14回シンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] レイティングデータとテキスト情報を用いて受験者の能力を推定する項目反応トピックモデルの提案2019

    • 著者名/発表者名
      宇都雅輝
    • 学会等名
      人工知能学会 第85回先進的学習科学と工学研究会(ALST)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Exact learning augmented naive Bayes classifier2018

    • 著者名/発表者名
      Shouta Sugahara, Masaki Uto, Maomi Ueno
    • 学会等名
      International Conference on Probabilistic Graphical Models
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] ライティング能力を推定する項目反応トピックモデルの提案とエッセイ自動評価への応用2018

    • 著者名/発表者名
      宇都雅輝
    • 学会等名
      日本テスト学会第16回大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 条件付き周辺尤度を用いたベイズ分類器の構造学習2018

    • 著者名/発表者名
      菅原聖太・宇都雅輝・植野真臣
    • 学会等名
      行動計量学会第46回大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Bayes factorを用いた制約ベースアプローチに基づく大規模ベイジアンネットワーク学習2018

    • 著者名/発表者名
      名取和樹・宇都雅輝・植野真臣
    • 学会等名
      行動計量学会第46回大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] レイティングデータとテキスト情報を用いたライティング能力推定のための項目反応トピックモデル2018

    • 著者名/発表者名
      宇都雅輝
    • 学会等名
      行動計量学会第46回大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] キーストロークデータに基づくライティングプロセス推定のための執筆者依存型隠れマルコフモデル2018

    • 著者名/発表者名
      宇都雅輝・宮澤芳光・加藤嘉浩・中島功滋・桑田一
    • 学会等名
      教育システム情報学会第43回全国大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 文脈情報を用いた論理構造推定手法2018

    • 著者名/発表者名
      木下涼・宇都雅輝・植野真臣
    • 学会等名
      行動計量学会第46回大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] キーストロークデータからライティングプロセスを推定する執筆者依存型隠れマルコフモデルの提案2018

    • 著者名/発表者名
      宇都雅輝・宮澤芳光・加藤嘉浩・中島功滋・桑田一
    • 学会等名
      人工知能学会 第83回先進的学習科学と工学研究会(ALST)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 条件付き周辺尤度を用いたベイジアンネットワーク分類器学習2018

    • 著者名/発表者名
      菅原聖太・宇都雅輝・植野真臣
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] ディープラーニングを用いた文脈を考慮した論理構造推定手法の提案2018

    • 著者名/発表者名
      木下涼・宇都雅輝・植野真臣
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2018 実施状況報告書 2017 実施状況報告書
  • [学会発表] LSTM による文脈を考慮した論証マイニング手法の提案2018

    • 著者名/発表者名
      木下涼・宇都雅輝・植野真臣
    • 学会等名
      言語処理学会第24回年次大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ベイズ機械学習によるテキストの論理構造抽出2017

    • 著者名/発表者名
      木下涼・宇都雅輝・植野真臣
    • 学会等名
      情報論的学習理論と機械学習研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 小論文自動評価のための論理構造推定システム2017

    • 著者名/発表者名
      木下涼・宇都雅輝・植野真臣
    • 学会等名
      日本教育工学会第33回全国大会
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2017-07-21   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi