• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

教師採点データに拠らない深層学習に基づく記述式自動採点システムの開発

研究課題

研究課題/領域番号 20H04300
研究機関独立行政法人大学入試センター

研究代表者

石岡 恒憲  独立行政法人大学入試センター, 研究開発部, 教授 (80311166)

研究分担者 峯 恒憲  九州大学, システム情報科学研究院, 准教授 (30243851)
宮澤 芳光  独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
須鎗 弘樹  千葉大学, 大学院工学研究院, 教授 (70246685)
中川 正樹  東京農工大学, 工学(系)研究科(研究院), 名誉教授 (10126295)
研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード自動採点 / 自然言語処理 / アンサンブル学習 / 深層学習
研究実績の概要

2017年と2018年に実施された共通テストのための試行調査のうち、国語の記述回答(年ごとに各3問、2年間で計6問)の手書き文字解答データ(各年6万件、2年で12万件)を、農工大・中川教授の研究グループの貢献によってデジタル化した。この文字認識データを、2018年にグーグルが開発したバートと呼ばれる、現在の最新の言語モデルを用いて採点させた。全体の8割の解答を人間が採点した上で、その採点結果を学習させてから残りの解答について自動採点させた。その結果、3段階から7段階の評価で、人間の採点結果と平均で96%が一致した。最も一致率の低い場合でも93%だった。白紙の答案は含まない。
我々の研究の技術的な革新は二つある。一つは手書き文字認識から自動採点までを一気通貫で行い、そこにコンピュータが採点メカニズムを理解するための人手による「補助輪」を一切用いないことである。採点時間に制限のある大規模試験では重要なことである。革新の二つ目は、12万件というこの分野においては極めて大量の採点データの利用である。試験の採点データは一般には非公開とされ、利用できるデータ数は限られている。国内外の過去の研究においても2千件程度である。このような大規模な自動採点は、おそらく世界でも初めてだろう。我々は十分に大きなデータを扱うことにより、採点に必要な標本サイズについても幾つかの知見を得ることができた。
我々の研究は、手書き文字認識から自動採点までを「理解の補助輪なし」で全て行い、「ほぼ人間並み」の精度を達成した。現段階のAIとしては一般的な認識を超えた画期的な成果といってよいだろう。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

我々の試作システムとその性能については、国内で多くの評判をよび、日経新聞に2千字の寄稿が、また日本教育新聞には1面トップで掲載された。またその成果については昨年度だけで、計4件の学会賞を受けた(日本計算機統計学会第35回大会, 学生研究発表賞;Duolingo Award for IMPS 2021;SMASH22 Winter Symposium,準優秀賞;言語処理学会第28回年次大会, 若手奨励賞)。現在、有力な国際会議に向けて論文を投稿中で、その結果を待っている。

今後の研究の推進方策

多くの成果を上げたその一方で、現在の技術水準であるところの自動採点の限界も見えてきた。今後目指すべきは、採点データ学習の工夫により精度を上げることに加え、
1.「採点アルゴリズムの汎化(試験問題のタイプが変わってもシステムの採点アルゴリズムを変更しなくても済むようにすること)」
2.多少、採点精度は落ちても「人間による採点データを必要としない、模範解答との近さだけで採点を可能とする仕組み」
3.「文字解答データにアノテーションするのではなく、採点基準を言語モデルに組み入れる仕組み」
の研究だろう。一般の機械学習は(採点データありの)教師あり学習がメインであったろうが、(僅かな採点データを用いる)半教師学習を越えて、(採点データを必要としない)教師なし学習ができるなら、その利用の範囲は大きく広がる。
これら採点エンジンの研究については、九大、千葉大、大学入試センターの各グループでそれぞれ独自のアプローチで解決を図っている。知見の交換による相乗効果が期待される。昨年、zoomによるオンライン打ち合わせを適宜、実施したが、今年も継続する。

  • 研究成果

    (7件)

すべて 2022 2021 2020

すべて 学会発表 (6件) (うち招待講演 1件) 図書 (1件)

  • [学会発表] Automated Short Answer Grading with Rublic-based Semantic Embedding Optimization2022

    • 著者名/発表者名
      Wang,B., Ishioka,T., Mine,T.
    • 学会等名
      SMASH22 Winter Symposium
  • [学会発表] 大学入学共通テスト試行調査における短答式記述答案の完全自動採点2022

    • 著者名/発表者名
      岡知樹,N.T.Hung, N.TCuong, 中川正樹, 石岡恒憲
    • 学会等名
      言語処理学会第28回年次大会E3-5
  • [学会発表] 大学入学共通テスト試行調査における記述式問題の自動採点2021

    • 著者名/発表者名
      岡知樹,N.T.Hung, N.TCuong, 中川正樹, 石岡恒憲
    • 学会等名
      日本計算機統計学会第35回大会
  • [学会発表] 共通テストの試行調査国語記述解答データを用いた自動採点のアルゴリズムとその評価2021

    • 著者名/発表者名
      石岡恒憲, 岡知樹, N.T.Hung, N.TCuong, 中川正樹
    • 学会等名
      日本テスト学会第19回大会発表論文抄録集, pp.124-125
  • [学会発表] 短答式試験における自動採点のための概念辞書を用いたデータ拡張手法の提案2021

    • 著者名/発表者名
      加藤博之・石岡恒憲・峯恒憲
    • 学会等名
      信学技報, vol. 120, no. 344, AI2020-15, pp. 7-12
  • [学会発表] AI-based+ Automated Short-answer Scoring System2020

    • 著者名/発表者名
      Ishioka, T.
    • 学会等名
      Digital World 2020
    • 招待講演
  • [図書] 自動採点研究のこれから.「英語教育研究における自動採点 現状と課題」2020

    • 著者名/発表者名
      石岡恒憲 (石井雄隆・近藤悠介(編))
    • 総ページ数
      157
    • 出版者
      ひつじ書房
    • ISBN
      978-4-8234-1060-4

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi