• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

語学テストにおける自然言語処理手法を活用した敵対項目検出手法の開発と評価

研究課題

研究課題/領域番号 20K20821
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分9:教育学およびその関連分野
研究機関名古屋大学

研究代表者

光永 悠彦  名古屋大学, 教育発達科学研究科, 准教授 (70742295)

研究期間 (年度) 2020-07-30 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2021年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2020年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
キーワード機械学習 / 語彙テスト / 言語テスト / 項目バンク / Automated test assembly / 大規模コーパス / コンピュータ適応型テスト / 大規模テスト / 語彙類似度 / 英語学習 / 日本語学習 / コンピュータ適応型テスト(CAT)
研究開始時の研究の概要

語学能力を問うテストの実施に当たっては,問題内容や語彙が出題される問題の間で互いに似通っていることが原因で,出題された問題の文言が,その後出題される問題を解答するうえでのヒントとなってしまう事態が想定される。本研究では問題文に含まれる語彙について,自然言語処理の手法によりその語義の近さを評価する仕組みを提案し,実際のテストの結果を用いてその効果を検証する。テスト版を自動的に生成するための仕組みに応用可能なシステムの提案を目指す。

研究成果の概要

コンピュータを用いた大規模テストの実施にあたり、出題項目が互いにヒントとなることを避けるために、テストで出題される項目リストに出現する単語語彙の類似度をもとに「敵対項目」のペアを検出する手法を開発し、実際のテストで活用する方法について検討した。言語テスト(英語・日本語)の場合においてはその有効性が示唆されたものの、言語テストではないテストにおいては文脈情報の付加や類似度の集計方法などをさらに検討する必要があることがわかった。

研究成果の学術的意義や社会的意義

昨今、大規模コーパスに基づいた「大規模言語モデル(large language model, LLM)」の検討が進められ、その活用が期待されているが、そのような汎用大規模言語モデルを構築するためには巨大なコーパスと膨大な計算時間が必要であり、本研究課題で検討されるような特定の用途に限定された比較的狭い範囲における応用の事例が少なかった。本研究はLLMを用いずとも、テスト事業者レベルにおいて独自のモデルを用いた敵対項目検出AIエンジンを開発することの可能性を示すものであり、コンピュータを用いたテストの自動化に寄与することが期待される。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (3件)

すべて 2022 2021 2020

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (1件) 図書 (1件)

  • [雑誌論文] 大規模テストが社会で役立つための教育測定学研究とは2020

    • 著者名/発表者名
      MITSUNAGA HARUHIKO
    • 雑誌名

      教育心理学年報

      巻: 59 号: 0 ページ: 116-127

    • DOI

      10.5926/arepj.59.116

    • NAID

      130007935485

    • ISSN
      0452-9650, 2186-3091
    • 年月日
      2020-03-30
    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 自然言語処理を用いた敵対項目検出アルゴリズムの提案とテストへの応用2021

    • 著者名/発表者名
      光永悠彦
    • 学会等名
      日本テスト学会第19回大会
    • 関連する報告書
      2021 実施状況報告書
  • [図書] テストは何のためにあるのか2022

    • 著者名/発表者名
      光永 悠彦、西田 亜希子
    • 総ページ数
      252
    • 出版者
      ナカニシヤ出版
    • ISBN
      9784779516832
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2020-08-03   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi