• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2015 年度 実施状況報告書

短答式記述テストにおける実用的な自動採点システム

研究課題

研究課題/領域番号 26350357
研究機関独立行政法人大学入試センター

研究代表者

石岡 恒憲  独立行政法人大学入試センター, 研究開発部, 教授 (80311166)

研究分担者 峯 恒憲  九州大学, システム情報科学研究科(研究院), 准教授 (30243851)
研究期間 (年度) 2014-04-01 – 2017-03-31
キーワード自然言語処理 / 情報システム / 統計科学 / 人工知能 / 教育工学
研究実績の概要

短答式テストとは、質問の回答を1文あるいは2文で返す記述テストの一種である。短答式テストは多肢選択テストに比べより真正で信頼できると広く考えられており、採点の自動化を望む潜在的な需要は計りしれない。本研究では、自然言語処理や情報アクセス研究に広く共通する課題である、テキスト間の含意(推論)・換言(同じ意味)・矛盾の認識を可能とする技術を取得し、実際の大学入試試験問題における記述試験採点で、実用に耐えるシステムを試作する。採点は、「(テストの作成者が予め用意した)模範解答」と「(被験者の実際の)記述解答」との意味的同一性や含意性を判定することによって行うほか、採点のための採点基準ファイルとの適合性に基づく採点も行う。今年度は以下を実施した。
1.言語資源の利用に向けた調査・検討(石岡):意味解析に迫るためには、日本語の同義語や上位語・下位語の意味的なシソーラスの利用が欠かせない。このためプリンストン大学が開発し、NICTが日本語化した日本語ワードネットを入手し、自然言語処理に向いた python上で実行する環境を整えた。特に同義語を獲得する箇所に工夫をこらした。
2.自然言語処理要素技術(峯・石岡):日本語形態素解析MeCabや構文解析CaboChaを pythonプログラムの中から実行できる環境を整えた。
3.含意関係認識プログラムの作成(石岡):上記の要素技術に基づいて、含意関係認識プログラムを試作する。本体となるスクリプト言語に加えて、pythonによりプログラムを作成している。現在、模範解答と記述解答の表層的な語彙近さを測定するツールを作成し、ベースラインとしての評価を行った。またGensimライブラリを用いプロンプトと記述解答の意味的近さを測るツールを作成した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

言語資源の利用に向けた調査・検討がほぼ終了し、自然言語処理要素技術の入手およびそれに基づく開発環境の整備が終了した。また株式会社学研と提携し、実際の模試の記述答案、および採点基準ファイルを入手し電子化したことで、本格使用に耐えるシステム試作のための実データの入手も完了した。この3月より実際のプログラム開発に着手している。

今後の研究の推進方策

研究を加速させるために2016年3月より当科研費でプログラマーを雇用した。プログラムを書きすすめ、各種の統計量を機械学習器にかけることで、システムの完成にこぎつけたい。
また国立情報学研究所で進めている「ロボットは東大に入れるか」プロジェクト(リーダー新井紀子教授)において,昨年(2015年)ベネッセのセンター試験模試である「進研マーク模試」で最高点76点を取得した日本ユニシスのグループによる3つの手法を組み合わせ、すなわち質問応答、単語の相関、構文木のマッチングについてもプログラムに実装する。

次年度使用額が生じた理由

文部科学省・高大接続部会による新センター試験に向けた調査研究のために忙しく、海外発表の機会がなくなってしまった。国際会議の参加費および旅費分が未使用となった。

次年度使用額の使用計画

プログラム開発のための人件費として計上したい。

  • 研究成果

    (13件)

すべて 2016 2015 その他

すべて 雑誌論文 (5件) (うちオープンアクセス 1件、 査読あり 4件、 謝辞記載あり 2件) 学会発表 (7件) (うち国際学会 5件、 招待講演 1件) 備考 (1件)

  • [雑誌論文] コンピュータ上で実施する記述式試験について2016

    • 著者名/発表者名
      石岡 恒憲
    • 雑誌名

      情報処理学会電子図書館

      巻: CE-133-19 ページ: NA

    • オープンアクセス
  • [雑誌論文] 再設計される (redesigned)SAT について ― 改訂の 意図と背景 ―2016

    • 著者名/発表者名
      石岡恒憲
    • 雑誌名

      大学入試研究ジャーナル

      巻: 26 ページ: 163-169

    • 査読あり
  • [雑誌論文] 小論文課題の複数人による採点の基礎的分析 -採点者による得点の違いについてー2016

    • 著者名/発表者名
      荒井清佳・石岡恒憲
    • 雑誌名

      大学入試研究ジャーナル

      巻: 26 ページ: 53-58

    • 査読あり
  • [雑誌論文] Evaluation of Effectiveness of Time-Series Comments by Using Machine Learning Techniques2015

    • 著者名/発表者名
      Shaymaa E. Sorour, Kazumasa Goda and Tsunenori Mine
    • 雑誌名

      Journal of Information Processing

      巻: 23 ページ: 784-794

    • 査読あり / 謝辞記載あり
  • [雑誌論文] 学習態度に関する自己評価記述の正確さ と 成績推定性能の相関2015

    • 著者名/発表者名
      合田和正,廣川佐千男,峯 恒憲
    • 雑誌名

      電子情報通信学会和文論文誌

      巻: J98-D ページ: 1247-1255

    • 査読あり / 謝辞記載あり
  • [学会発表] コンピュータ上で実施する記述式試験について[招待講演]2016

    • 著者名/発表者名
      石岡 恒憲
    • 学会等名
      情報処理学会,第133回 コンピュータと教育研究会
    • 発表場所
      東京農工大・東小金井キャンパス(東京都小金井市)
    • 年月日
      2016-02-13 – 2016-02-14
    • 招待講演
  • [学会発表] Exploring Students’ Learning Attributes in Consecutive Lessons to Improve Prediction Performance2016

    • 著者名/発表者名
      Shaymaa E. Sorour, Tsunenori Mine
    • 学会等名
      Eighteenth Australasian Computing Education Conference (ACE)
    • 発表場所
      Canberra (Australia)
    • 年月日
      2016-02-02 – 2016-02-05
    • 国際学会
  • [学会発表] Estimation of Student Performance by Considering Consecutive Lessons2015

    • 著者名/発表者名
      Shaymaa E. Sorour, Kazumasa Goda, Tsunenori Mine
    • 学会等名
      Proc. of IIAI AAI ESKM
    • 発表場所
      Okayama Convention Center, Japan(岡山県岡山市)
    • 年月日
      2015-07-12 – 2015-07-16
    • 国際学会
  • [学会発表] Correlation of Grade Prediction Performance and Characteristics of Lesson Subject2015

    • 著者名/発表者名
      Shaymaa E. Sorour, Jingyi Luo, Kazumasa Goda, Tsunenori Mine
    • 学会等名
      the 15th IEEE International Conference on Advanced Learning Technologies (ICALT 2015)
    • 発表場所
      Hualien (Taiwan)
    • 年月日
      2015-07-06 – 2015-07-09
    • 国際学会
  • [学会発表] Student Performance Estimation based on Topic Models Considering a range of Lessons2015

    • 著者名/発表者名
      Shaymaa E. Sorour, Kazumasa Goda, Tsunenori Mine
    • 学会等名
      AIED 2015
    • 発表場所
      Madrid (Spain)
    • 年月日
      2015-06-22 – 2015-06-26
    • 国際学会
  • [学会発表] Predicting Studnet Grade based on Free-style Comments using Word2Vec and ANN by Considering Prediction Results Obtained in Consecutive Lessons2015

    • 著者名/発表者名
      Jingyi Luo, Shaymaa E. Sorou, Kazumasa Goda, Tsunenori Mine
    • 学会等名
      The 8th International Conference on Educational Data Mining
    • 発表場所
      Madrid (Spain)
    • 年月日
      2015-06-22 – 2015-06-24
    • 国際学会
  • [学会発表] 再設計される (redesigned)SAT について ― 改訂の 意図と背景 ―2015

    • 著者名/発表者名
      石岡恒憲
    • 学会等名
      平成27年度 全国大学入学者選抜連絡協議会
    • 発表場所
      東京電機大・北千住キャンパス(東京都足立区)
    • 年月日
      2015-05-27 – 2015-05-29
  • [備考] Jess 日本語小論文 評価採点システム

    • URL

      http://tk2-203-11024.vs.sakura.ne.jp/jess/

URL: 

公開日: 2017-01-06  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi