Detecting an enemy items utilizing an NLP approach: development and evaluation for language testing
| Project/Area Number |
20K20821
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2020-07-30 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2021: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2020: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 機械学習 / 語彙テスト / 言語テスト / 項目バンク / Automated test assembly / 大規模コーパス / コンピュータ適応型テスト / 大規模テスト / 語彙類似度 / 英語学習 / 日本語学習 / コンピュータ適応型テスト（ＣＡＴ） |
|---|
| Outline of Research at the Start |
語学能力を問うテストの実施に当たっては，問題内容や語彙が出題される問題の間で互いに似通っていることが原因で，出題された問題の文言が，その後出題される問題を解答するうえでのヒントとなってしまう事態が想定される。本研究では問題文に含まれる語彙について，自然言語処理の手法によりその語義の近さを評価する仕組みを提案し，実際のテストの結果を用いてその効果を検証する。テスト版を自動的に生成するための仕組みに応用可能なシステムの提案を目指す。
|
| Outline of Final Research Achievements |
When a large-scale testing program which measures examinees’ language ability is held based on an item bank, which contains various items of vocabulary, it is mandatory that the ‘enemy items’, which may be a clue to answer correctly if these items were presented at the same test administration, should not be shown on the same test forms. In this research, the method of preventing from presenting enemy items is proposed and evaluated by empirical test data. An NLP (natural language process) approach and machine learning system were adopted to estimate word similarity in each item of the item bank. Results suggested that it returns proper solutions when the item bank contains the items which measure examinees’ vocabulary, however, when items measure non-verbal ability, several external variables should be used in order to get more accurate solutions.
|
| Academic Significance and Societal Importance of the Research Achievements |
昨今、大規模コーパスに基づいた「大規模言語モデル（large language model, LLM）」の検討が進められ、その活用が期待されているが、そのような汎用大規模言語モデルを構築するためには巨大なコーパスと膨大な計算時間が必要であり、本研究課題で検討されるような特定の用途に限定された比較的狭い範囲における応用の事例が少なかった。本研究はLLMを用いずとも、テスト事業者レベルにおいて独自のモデルを用いた敵対項目検出AIエンジンを開発することの可能性を示すものであり、コンピュータを用いたテストの自動化に寄与することが期待される。
|
Report
(4 results)
Research Products
(3 results)
