• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Research-status Report

短答式記述テストにおける実用的な自動採点システム

Research Project

Project/Area Number 26350357
Research InstitutionThe National Center for University Entrance Examinations

Principal Investigator

石岡 恒憲  独立行政法人大学入試センター, 研究開発部, 教授 (80311166)

Co-Investigator(Kenkyū-buntansha) 峯 恒憲  九州大学, システム情報科学研究科(研究院), 准教授 (30243851)
Project Period (FY) 2014-04-01 – 2017-03-31
Keywords自然言語処理 / 情報システム / 統計科学 / 人工知能 / 教育工学
Outline of Annual Research Achievements

短答式テストとは、質問の回答を1文あるいは2文で返す記述テストの一種である。短答式テストは多肢選択テストに比べより真正で信頼できると広く考えられており、採点の自動化を望む潜在的な需要は計りしれない。本研究では、自然言語処理や情報アクセス研究に広く共通する課題である、テキスト間の含意(推論)・換言(同じ意味)・矛盾の認識を可能とする技術を取得し、実際の大学入試試験問題における記述試験採点で、実用に耐えるシステムを試作する。採点は、「(テストの作成者が予め用意した)模範解答」と「(被験者の実際の)記述解答」との意味的同一性や含意性を判定することによって行うほか、採点のための採点基準ファイルとの適合性に基づく採点も行う。今年度は以下を実施した。
1.言語資源の利用に向けた調査・検討(石岡):意味解析に迫るためには、日本語の同義語や上位語・下位語の意味的なシソーラスの利用が欠かせない。このためプリンストン大学が開発し、NICTが日本語化した日本語ワードネットを入手し、自然言語処理に向いた python上で実行する環境を整えた。特に同義語を獲得する箇所に工夫をこらした。
2.自然言語処理要素技術(峯・石岡):日本語形態素解析MeCabや構文解析CaboChaを pythonプログラムの中から実行できる環境を整えた。
3.含意関係認識プログラムの作成(石岡):上記の要素技術に基づいて、含意関係認識プログラムを試作する。本体となるスクリプト言語に加えて、pythonによりプログラムを作成している。現在、模範解答と記述解答の表層的な語彙近さを測定するツールを作成し、ベースラインとしての評価を行った。またGensimライブラリを用いプロンプトと記述解答の意味的近さを測るツールを作成した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

言語資源の利用に向けた調査・検討がほぼ終了し、自然言語処理要素技術の入手およびそれに基づく開発環境の整備が終了した。また株式会社学研と提携し、実際の模試の記述答案、および採点基準ファイルを入手し電子化したことで、本格使用に耐えるシステム試作のための実データの入手も完了した。この3月より実際のプログラム開発に着手している。

Strategy for Future Research Activity

研究を加速させるために2016年3月より当科研費でプログラマーを雇用した。プログラムを書きすすめ、各種の統計量を機械学習器にかけることで、システムの完成にこぎつけたい。
また国立情報学研究所で進めている「ロボットは東大に入れるか」プロジェクト(リーダー新井紀子教授)において,昨年(2015年)ベネッセのセンター試験模試である「進研マーク模試」で最高点76点を取得した日本ユニシスのグループによる3つの手法を組み合わせ、すなわち質問応答、単語の相関、構文木のマッチングについてもプログラムに実装する。

Causes of Carryover

文部科学省・高大接続部会による新センター試験に向けた調査研究のために忙しく、海外発表の機会がなくなってしまった。国際会議の参加費および旅費分が未使用となった。

Expenditure Plan for Carryover Budget

プログラム開発のための人件費として計上したい。

  • Research Products

    (13 results)

All 2016 2015 Other

All Journal Article (5 results) (of which Open Access: 1 results,  Peer Reviewed: 4 results,  Acknowledgement Compliant: 2 results) Presentation (7 results) (of which Int'l Joint Research: 5 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] コンピュータ上で実施する記述式試験について2016

    • Author(s)
      石岡 恒憲
    • Journal Title

      情報処理学会電子図書館

      Volume: CE-133-19 Pages: NA

    • Open Access
  • [Journal Article] 再設計される (redesigned)SAT について ― 改訂の 意図と背景 ―2016

    • Author(s)
      石岡恒憲
    • Journal Title

      大学入試研究ジャーナル

      Volume: 26 Pages: 163-169

    • Peer Reviewed
  • [Journal Article] 小論文課題の複数人による採点の基礎的分析 -採点者による得点の違いについてー2016

    • Author(s)
      荒井清佳・石岡恒憲
    • Journal Title

      大学入試研究ジャーナル

      Volume: 26 Pages: 53-58

    • Peer Reviewed
  • [Journal Article] Evaluation of Effectiveness of Time-Series Comments by Using Machine Learning Techniques2015

    • Author(s)
      Shaymaa E. Sorour, Kazumasa Goda and Tsunenori Mine
    • Journal Title

      Journal of Information Processing

      Volume: 23 Pages: 784-794

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 学習態度に関する自己評価記述の正確さ と 成績推定性能の相関2015

    • Author(s)
      合田和正,廣川佐千男,峯 恒憲
    • Journal Title

      電子情報通信学会和文論文誌

      Volume: J98-D Pages: 1247-1255

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] コンピュータ上で実施する記述式試験について[招待講演]2016

    • Author(s)
      石岡 恒憲
    • Organizer
      情報処理学会,第133回 コンピュータと教育研究会
    • Place of Presentation
      東京農工大・東小金井キャンパス(東京都小金井市)
    • Year and Date
      2016-02-13 – 2016-02-14
    • Invited
  • [Presentation] Exploring Students’ Learning Attributes in Consecutive Lessons to Improve Prediction Performance2016

    • Author(s)
      Shaymaa E. Sorour, Tsunenori Mine
    • Organizer
      Eighteenth Australasian Computing Education Conference (ACE)
    • Place of Presentation
      Canberra (Australia)
    • Year and Date
      2016-02-02 – 2016-02-05
    • Int'l Joint Research
  • [Presentation] Estimation of Student Performance by Considering Consecutive Lessons2015

    • Author(s)
      Shaymaa E. Sorour, Kazumasa Goda, Tsunenori Mine
    • Organizer
      Proc. of IIAI AAI ESKM
    • Place of Presentation
      Okayama Convention Center, Japan(岡山県岡山市)
    • Year and Date
      2015-07-12 – 2015-07-16
    • Int'l Joint Research
  • [Presentation] Correlation of Grade Prediction Performance and Characteristics of Lesson Subject2015

    • Author(s)
      Shaymaa E. Sorour, Jingyi Luo, Kazumasa Goda, Tsunenori Mine
    • Organizer
      the 15th IEEE International Conference on Advanced Learning Technologies (ICALT 2015)
    • Place of Presentation
      Hualien (Taiwan)
    • Year and Date
      2015-07-06 – 2015-07-09
    • Int'l Joint Research
  • [Presentation] Student Performance Estimation based on Topic Models Considering a range of Lessons2015

    • Author(s)
      Shaymaa E. Sorour, Kazumasa Goda, Tsunenori Mine
    • Organizer
      AIED 2015
    • Place of Presentation
      Madrid (Spain)
    • Year and Date
      2015-06-22 – 2015-06-26
    • Int'l Joint Research
  • [Presentation] Predicting Studnet Grade based on Free-style Comments using Word2Vec and ANN by Considering Prediction Results Obtained in Consecutive Lessons2015

    • Author(s)
      Jingyi Luo, Shaymaa E. Sorou, Kazumasa Goda, Tsunenori Mine
    • Organizer
      The 8th International Conference on Educational Data Mining
    • Place of Presentation
      Madrid (Spain)
    • Year and Date
      2015-06-22 – 2015-06-24
    • Int'l Joint Research
  • [Presentation] 再設計される (redesigned)SAT について ― 改訂の 意図と背景 ―2015

    • Author(s)
      石岡恒憲
    • Organizer
      平成27年度 全国大学入学者選抜連絡協議会
    • Place of Presentation
      東京電機大・北千住キャンパス(東京都足立区)
    • Year and Date
      2015-05-27 – 2015-05-29
  • [Remarks] Jess 日本語小論文 評価採点システム

    • URL

      http://tk2-203-11024.vs.sakura.ne.jp/jess/

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi