• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2014 年度 実施状況報告書

短答式記述テストにおける実用的な自動採点システム

研究課題

研究課題/領域番号 26350357
研究機関独立行政法人大学入試センター

研究代表者

石岡 恒憲  独立行政法人大学入試センター, 研究開発部, 教授 (80311166)

研究分担者 峯 恒憲  九州大学, システム情報科学研究科(研究院), 准教授 (30243851)
研究期間 (年度) 2014-04-01 – 2017-03-31
キーワード自然言語処理 / 情報システム / 統計数学 / 人工知能
研究実績の概要

短答式テストとは、質問の回答を1文あるいは2文で返す記述テストの一種である。短答式テストは多肢選択テストに比べ、より真正(authentic)で信頼できると広く考えられており、採点のための技術的な課題が克服されてさえいれば、これを使う潜在的な需要は計りしれない。本研究では、自然言語処理や情報アクセス研究に広く共通する課題である、テキスト間の含意(推論)・換言(同じ意味)・矛盾の認識を可能とする技術を取得し、実際の大学入試試験問題における記述試験採点で、実用に耐えるシステムを試作することを目的とする。採点は、「(テストの作成者が予め用意した)模範解答」と「(被験者の実際の)記述解答」との意味的同一性や含意性を判定することによって行う。システムはWeb にて公開する予定である。
今年度は、以下について研究をおこなった。
1.言語資源の利用に向けた調査・検討(石岡):
含意関係認識に有効と思われる以下の資源およびツールについて調査した。RITE SDK, JAWJAW, WS4J, Wikipedia Redirectなど。また、一般に公開されている利用可能な言語として、奈良先端大(NIST)の作成したJapanese WordNet およびHyponymy extraction tool を用いたWikipedia 上位語・下位語ペア、また京都大学・黒橋研究室の作成した京都大学格フレーム、NTT の提供(有料)する日本語語彙体系について、利用できるか検討を行った。
2.自然言語処理要素技術(峯・石岡):
試験問題のテキストは誤解が生じないようにわかりやすく記述されているが、それでもその解析は容易ではない。ほぼすべての科目を通じて、広い意味での参照関係の解析が必要である。参照関係理解について現状技術のサーベイを行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

「知識を問う」問題に対して、含意関係認識を行うプログラムの実装を行うための準備をおこなった。具体的には、日本語構文解析による語句の係り受けと、キーとなる語句の上位語・下位語・同義語などの置き換え、関連知識の検索技術の組み合わせ、および最終判断としての機械学習で達成するための技術の習得を行った。
日本語構文解析については既にあるCaboChaの利用を、機械学習器としてはRandom Forestsの利用を考えており、Random Forestsによる欠測値補完について国際会議等で研究発表をおこなった。

今後の研究の推進方策

以下について研究をおこなう。
1.文章や状況の一貫性や自然さの認識(石岡)
国語(英語も)の会話・文章穴埋め問題では、文章や状況の一貫性や自然さを認識する必要がある。そのために接続詞を含む広い意味での接続表現、前の段落を示す指示語、話者の態度や考えを示すモダリティの検出とそれによる接続(付加、解説、論証、例示、転換、制限、譲歩、対比)の判定を、多くの新聞記事の社説やコラムを学習することで解決することを目指す。
2.高度な判断に基づくアプローチ(石岡)
さまざまな推論が複雑に絡み合っているような問題に対して、複数の知識を組み合わせで答えを導く方法についても検討を行う。

次年度使用額が生じた理由

文部科学省・高大接続会議や中央教育審議会の答申により、本研究代表者の所属する大学入試センターの廃止と改組、それに伴う大学入試センター試験に代わる新テストの導入という、設立以来の大改革に伴う対応のために、当初、予定していた国際会議への参加を取りやめざるを得なくなったため。また、当初予定していたサーバーの購入についても、レンタルサーバーの導入により予算を削減したため。

次年度使用額の使用計画

今年度も大学入試センター試験に代わる新テストの導入に伴う作業のために、研究への配分(エフォート)は予定より少なくならざるを得ないが、可能な限り、本研究を遂行するつもりではある。

備考

研究代表者(石岡)によるiiWAS2014 (The 16th International Conference on Information Integration and Web-based Applications & Services)での発表論文が The selected papersに選出された。

  • 研究成果

    (11件)

すべて 2015 2014

すべて 雑誌論文 (5件) (うち査読あり 4件、 オープンアクセス 3件、 謝辞記載あり 2件) 学会発表 (5件) 図書 (1件)

  • [雑誌論文] 全文検索による試験問題検索システム ―新規作成問題の類似文書検索を中心として―2015

    • 著者名/発表者名
      石岡恒憲, 狩野芳伸,橋本貴充,大津起夫
    • 雑誌名

      大学入試研究ジャーナル

      巻: 25 ページ: 129-135

    • 査読あり / 謝辞記載あり
  • [雑誌論文] 平成27年度センター試験理科受験者の得点分析 ―科目別の学力分布ならびに得点調整スコアについて―2015

    • 著者名/発表者名
      石岡 恒憲
    • 雑誌名

      大学入試センター研究開発部リサーチノート

      巻: RN-14-03 ページ: 1-12

  • [雑誌論文] ユーザの移動履歴を基にした公共交通機関ルート 推薦エージェントの提案2015

    • 著者名/発表者名
      中村 啓之, 峯 恒憲
    • 雑誌名

      電子情報通信学会論文誌:ソフトウェアエージェ ントとその応用特集

      巻: Vol.J98-D, No.6 ページ: 印刷中

    • DOI

      10.14923/transinfj.2014SWP0015

    • 査読あり / オープンアクセス
  • [雑誌論文] Predictive Model to Evaluate Students Performance2015

    • 著者名/発表者名
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • 雑誌名

      Journal ofInformation Processing, Special Issue of "Students' and Young Researchers' Papers”

      巻: Vol.23, No.2 ページ: 192-201

    • DOI

      10.2197/ipsjip.23.192

    • 査読あり / オープンアクセス
  • [雑誌論文] Investigations into Missing Values Imputation Using Random Forests for Semi-supervised Data2014

    • 著者名/発表者名
      Tsunenori Ishioka
    • 雑誌名

      Proceedings of the 16th International Conference on Information Integration and Web-based Applications & Services

      巻: iiWAS Special Issue ページ: 296-301

    • DOI

      10.1145/2684200.2684288

    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] 半教師学習データにおけるRandom Forestsを用いた欠測値補完の手順について2014

    • 著者名/発表者名
      石岡恒憲
    • 学会等名
      合同エージェントワークショップ&シンポジウム2014(JAWS-2014)
    • 発表場所
      ANA ホリデイ・イン リゾート 宮崎(宮崎県宮崎市)
    • 年月日
      2014-10-27 – 2014-10-29
  • [学会発表] Predicting Students' grades based on free style Comments Data by Artificial Neural Network2014

    • 著者名/発表者名
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • 学会等名
      The 44th Annual Frontiers in Education (FIE) Conference
    • 発表場所
      Madrid, Spain
    • 年月日
      2014-10-01 – 2014-10-05
  • [学会発表] Comments data mining for evaluating student's performance2014

    • 著者名/発表者名
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • 学会等名
      The 5th IIAI International Conference on e-Services and Knowledge Management (IIAI ESKM 2014)
    • 発表場所
      Kitakyushu, Fukuoka, Japan
    • 年月日
      2014-08-31 – 2014-09-02
  • [学会発表] Prediction of Students' Grades based on Free-style Comments Data2014

    • 著者名/発表者名
      Shaymaa Sorour, Tsunenori Mine, Kazumasa Goda, Sachio Hirokawa
    • 学会等名
      The 13th International Conference on Web-based Learning, LNCS 8613
    • 発表場所
      Tallinn, Estonia
    • 年月日
      2014-08-14 – 2014-08-17
  • [学会発表] 全文検索による試験問題検索システム ―新規作成問題の類似文書検索を中心として―2014

    • 著者名/発表者名
      石岡恒憲,橋本貴充,大津起夫
    • 学会等名
      平成26年度 全国大学入学者選抜連絡協議会
    • 発表場所
      アイーナ いわて県民情報交流センター(岩手県盛岡市)
    • 年月日
      2014-05-28 – 2014-05-30
  • [図書] テストの現代化と大学入試(繁桝算男 編「新しい時代の大学入試」,第2章)2015

    • 著者名/発表者名
      石岡 恒憲
    • 総ページ数
      205(57-78)
    • 出版者
      金子書房

URL: 

公開日: 2016-05-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi