• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Research-status Report

短答式記述テストにおける実用的な自動採点システム

Research Project

Project/Area Number 26350357
Research InstitutionThe National Center for University Entrance Examinations

Principal Investigator

石岡 恒憲  独立行政法人大学入試センター, 研究開発部, 教授 (80311166)

Co-Investigator(Kenkyū-buntansha) 峯 恒憲  九州大学, システム情報科学研究科(研究院), 准教授 (30243851)
Project Period (FY) 2014-04-01 – 2017-03-31
Keywords自然言語処理 / 情報システム / 統計数学 / 人工知能
Outline of Annual Research Achievements

短答式テストとは、質問の回答を1文あるいは2文で返す記述テストの一種である。短答式テストは多肢選択テストに比べ、より真正(authentic)で信頼できると広く考えられており、採点のための技術的な課題が克服されてさえいれば、これを使う潜在的な需要は計りしれない。本研究では、自然言語処理や情報アクセス研究に広く共通する課題である、テキスト間の含意(推論)・換言(同じ意味)・矛盾の認識を可能とする技術を取得し、実際の大学入試試験問題における記述試験採点で、実用に耐えるシステムを試作することを目的とする。採点は、「(テストの作成者が予め用意した)模範解答」と「(被験者の実際の)記述解答」との意味的同一性や含意性を判定することによって行う。システムはWeb にて公開する予定である。
今年度は、以下について研究をおこなった。
1.言語資源の利用に向けた調査・検討(石岡):
含意関係認識に有効と思われる以下の資源およびツールについて調査した。RITE SDK, JAWJAW, WS4J, Wikipedia Redirectなど。また、一般に公開されている利用可能な言語として、奈良先端大(NIST)の作成したJapanese WordNet およびHyponymy extraction tool を用いたWikipedia 上位語・下位語ペア、また京都大学・黒橋研究室の作成した京都大学格フレーム、NTT の提供(有料)する日本語語彙体系について、利用できるか検討を行った。
2.自然言語処理要素技術(峯・石岡):
試験問題のテキストは誤解が生じないようにわかりやすく記述されているが、それでもその解析は容易ではない。ほぼすべての科目を通じて、広い意味での参照関係の解析が必要である。参照関係理解について現状技術のサーベイを行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

「知識を問う」問題に対して、含意関係認識を行うプログラムの実装を行うための準備をおこなった。具体的には、日本語構文解析による語句の係り受けと、キーとなる語句の上位語・下位語・同義語などの置き換え、関連知識の検索技術の組み合わせ、および最終判断としての機械学習で達成するための技術の習得を行った。
日本語構文解析については既にあるCaboChaの利用を、機械学習器としてはRandom Forestsの利用を考えており、Random Forestsによる欠測値補完について国際会議等で研究発表をおこなった。

Strategy for Future Research Activity

以下について研究をおこなう。
1.文章や状況の一貫性や自然さの認識(石岡)
国語(英語も)の会話・文章穴埋め問題では、文章や状況の一貫性や自然さを認識する必要がある。そのために接続詞を含む広い意味での接続表現、前の段落を示す指示語、話者の態度や考えを示すモダリティの検出とそれによる接続(付加、解説、論証、例示、転換、制限、譲歩、対比)の判定を、多くの新聞記事の社説やコラムを学習することで解決することを目指す。
2.高度な判断に基づくアプローチ(石岡)
さまざまな推論が複雑に絡み合っているような問題に対して、複数の知識を組み合わせで答えを導く方法についても検討を行う。

Causes of Carryover

文部科学省・高大接続会議や中央教育審議会の答申により、本研究代表者の所属する大学入試センターの廃止と改組、それに伴う大学入試センター試験に代わる新テストの導入という、設立以来の大改革に伴う対応のために、当初、予定していた国際会議への参加を取りやめざるを得なくなったため。また、当初予定していたサーバーの購入についても、レンタルサーバーの導入により予算を削減したため。

Expenditure Plan for Carryover Budget

今年度も大学入試センター試験に代わる新テストの導入に伴う作業のために、研究への配分(エフォート)は予定より少なくならざるを得ないが、可能な限り、本研究を遂行するつもりではある。

Remarks

研究代表者(石岡)によるiiWAS2014 (The 16th International Conference on Information Integration and Web-based Applications & Services)での発表論文が The selected papersに選出された。

  • Research Products

    (11 results)

All 2015 2014

All Journal Article (5 results) (of which Peer Reviewed: 4 results,  Open Access: 3 results,  Acknowledgement Compliant: 2 results) Presentation (5 results) Book (1 results)

  • [Journal Article] 全文検索による試験問題検索システム ―新規作成問題の類似文書検索を中心として―2015

    • Author(s)
      石岡恒憲, 狩野芳伸,橋本貴充,大津起夫
    • Journal Title

      大学入試研究ジャーナル

      Volume: 25 Pages: 129-135

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 平成27年度センター試験理科受験者の得点分析 ―科目別の学力分布ならびに得点調整スコアについて―2015

    • Author(s)
      石岡 恒憲
    • Journal Title

      大学入試センター研究開発部リサーチノート

      Volume: RN-14-03 Pages: 1-12

  • [Journal Article] ユーザの移動履歴を基にした公共交通機関ルート 推薦エージェントの提案2015

    • Author(s)
      中村 啓之, 峯 恒憲
    • Journal Title

      電子情報通信学会論文誌:ソフトウェアエージェ ントとその応用特集

      Volume: Vol.J98-D, No.6 Pages: 印刷中

    • DOI

      10.14923/transinfj.2014SWP0015

    • Peer Reviewed / Open Access
  • [Journal Article] Predictive Model to Evaluate Students Performance2015

    • Author(s)
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • Journal Title

      Journal ofInformation Processing, Special Issue of "Students' and Young Researchers' Papers”

      Volume: Vol.23, No.2 Pages: 192-201

    • DOI

      10.2197/ipsjip.23.192

    • Peer Reviewed / Open Access
  • [Journal Article] Investigations into Missing Values Imputation Using Random Forests for Semi-supervised Data2014

    • Author(s)
      Tsunenori Ishioka
    • Journal Title

      Proceedings of the 16th International Conference on Information Integration and Web-based Applications & Services

      Volume: iiWAS Special Issue Pages: 296-301

    • DOI

      10.1145/2684200.2684288

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] 半教師学習データにおけるRandom Forestsを用いた欠測値補完の手順について2014

    • Author(s)
      石岡恒憲
    • Organizer
      合同エージェントワークショップ&シンポジウム2014(JAWS-2014)
    • Place of Presentation
      ANA ホリデイ・イン リゾート 宮崎(宮崎県宮崎市)
    • Year and Date
      2014-10-27 – 2014-10-29
  • [Presentation] Predicting Students' grades based on free style Comments Data by Artificial Neural Network2014

    • Author(s)
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • Organizer
      The 44th Annual Frontiers in Education (FIE) Conference
    • Place of Presentation
      Madrid, Spain
    • Year and Date
      2014-10-01 – 2014-10-05
  • [Presentation] Comments data mining for evaluating student's performance2014

    • Author(s)
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • Organizer
      The 5th IIAI International Conference on e-Services and Knowledge Management (IIAI ESKM 2014)
    • Place of Presentation
      Kitakyushu, Fukuoka, Japan
    • Year and Date
      2014-08-31 – 2014-09-02
  • [Presentation] Prediction of Students' Grades based on Free-style Comments Data2014

    • Author(s)
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • Organizer
      The 13th International Conference on Web-based Learning, LNCS 8613
    • Place of Presentation
      Tallinn, Estonia
    • Year and Date
      2014-08-14 – 2014-08-17
  • [Presentation] 全文検索による試験問題検索システム ―新規作成問題の類似文書検索を中心として―2014

    • Author(s)
      石岡恒憲,橋本貴充,大津起夫
    • Organizer
      平成26年度 全国大学入学者選抜連絡協議会
    • Place of Presentation
      アイーナ いわて県民情報交流センター(岩手県盛岡市)
    • Year and Date
      2014-05-28 – 2014-05-30
  • [Book] テストの現代化と大学入試(繁桝算男 編「新しい時代の大学入試」,第2章)2015

    • Author(s)
      石岡 恒憲
    • Total Pages
      205(57-78)
    • Publisher
      金子書房

URL: 

Published: 2016-05-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi