2015 Fiscal Year Research-status Report
インターネット上の資源を活用した英語語彙問題の自動作成
| Project/Area Number |
15K12166
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
徳永 健伸 東京工業大学, 情報理工学(系)研究科, 教授 (20197875)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小張 敬之 青山学院大学, 経済学部, 教授 (00224303)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | 英語語彙問題自動作成 |
|---|
| Outline of Annual Research Achievements |
英語語彙問題を自動作成する以下のような手法を提案した．英語の語彙問題は(1)対象となる語，(2)対象語が使われている短いテキスト，(3)テキスト中の対象語と同じ意味を持つ語 (正解の選択肢)，(4)テキスト中の対象語とは異なる意味を持つ語 (ディストラクタ)の4つの要素から構成されている．解答者はテキストを読み，選択肢の中からそのテキスト中で使われている対象語の意味と同じ意味を持つ語を選択肢の中から選ぶことになる．提案手法では，入力として対象語とその対象語の語義を与え，対象語がその語義の意味で使われているテキストをインターネット中から検索し，辞書から対象語の指定された語義と同じ意味を持つ語，および違う意味を持つ語を選択することによって語彙問題を構成する．ここで難しいのはインターネット中から指定された語義で使われている対象語を含むテキストをどうやって見付けるかという点である．テキスト中の語の語義を同定する課題は言語処理の分野では「語義のあいまい性解消」と呼ばれており，長い研究の歴史があるが，テキストによっては高精度で語義を同定することは困難だと言われている．本手法では与えられたテキスト中の語義を同定するのではなく，与えられた語義を含むテキストを探索することによって，語義あいまい性解消の困難さを回避している点が重要な貢献である．言い方を変えると語義あいまい性の簡単なテキストを選択することによって語義の同定精度を上げているともいえる．予備実験の結果では，典型的な語義あいまい性解消の手法の精度が60%程度であるのに対して，提案手法では95%を越える精度で指定された語義とその語義の意味で対象語が使われているテキストを取得することができた．提案手法によって自動作成した語彙問題を7名の英語教師が評価した結果，半数以上の問題が十分な質であるという判定を受けた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
・「研究実績の内容」で述べたとおり，すでにインターネット上の適切なテキストを検索し，それを利用して英語語彙問題を自動生成する手法を提案し，それをコンピュータ上に実装した．
・実装したシステムを利用して自動作成し問題を英語教師によって以下のように主観評価させた．まず，22問を提案手法によって自動作成し，TOEFLの過去問題から18問を選択し合せて40問の問題セットを作成した．つぎにこれを問題の出自を隠したまま7名の英語教師に提示し，以下の項目について評価させた．(1) 当該が人手で作成したものか自動作成したものかの判定，(2) (1)の判断に到った問題の要素，(3) (2)の判断の理由，(4) 問題の質，(5) 問題に対するコメント．評価の結果，約半数の自動作成した問題については英語教師が人手で作成したものと誤判定した．また，ディトラクタが問題の質に大きく影響することがわかった．
|
| Strategy for Future Research Activity |
・自動作成した問題を英語学習者に解かせる評価実験を実施し，その正答率と個人の英語能力との相関を調査する．
・英語学習者による自動作成した問題の評価結果と今年度実施した英語教師による問題の評価の関係について分析をおこなう．
|
