2019 Fiscal Year Research-status Report
語学学習支援システムにおける能力測定のための自動作問技術に関する研究
| Project/Area Number |
18K18118
|
|---|
| Research Institution | Shizuoka Institute of Science and Technology |
|---|
Principal Investigator |
江原 遥 静岡理工科大学, 情報学部, 講師 (60738029)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 語学学習支援 / 機械学習 / 項目反応理論 / テスト理論 / クラウドソーシング / 外国語教育 / 自然言語処理 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、語学学習支援システムにおける能力測定のための自動作問技術を開発することである。機械学習による自動作問器は、作成するだけであれば多数の問題を自動的に作成することは可能であるので、問題の質（良さ）の数値的評価を低コストで行うことができれば、質の高い問題を選び出すことが可能となる。問題の質を、経験のある語学教師によって人手評価を行うなどすると高コストになるので、なるべく（半）自動的に行うことが望ましい。ここで、テスト理論（項目反応理論）では、「他の設問で能力が高いと測定された学習者は正答しやすく、他の設問で能力が低いと測定された学習者は正当しにくい」問題であるかどうかを数値的に評価することで、設問の内容に依存せずに問題の質を評価することが可能となる。この性質を利用して、問題の質を自動的に評価することで、質の高い作問を可能とする生成器を構築することが本研究の主眼となる。生成器の作成には敵対的学習を用いることも考えられる。
本年度は、昨年度に用意した研究機材・データを用いて自動作問に直結する、問題文の理解技術を試作した。昨年度には自然言語処理分野全体として、穴埋め問題の作成などに用いられる言語モデルについて、ELMo(NAACL2018)やBERT(NAACL2019)等の深層学習を用いたブレイクスルーが報告され、分野全体の方向性が大きく変革した。本年度は技術革新が一応の安定を見せ、BERTを用いた手法が安定的に自然言語理解分野で高性能を達成することが報告された。本年度は、自然言語理解において、外れ値となる選択肢を自動発見する技術の調査・予備実験を行い、これらの結果を研究論文として発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度の調査によって、平成30年度に提案されたBERT [Devlin et al., NAACL2019]などの文脈化単語埋め込みの手法を、本研究の目的に合わせて改善することで、先端技術を用いた自動作問を行う準備がととのった。特に、本年度は、自動作問に必要な自然言語理解技術を研究した。
自動作問のためには、文中での設問部分の単語やフレーズと、選択肢部分の単語やフレーズの意味的距離を把握することが必要である。そして、選択肢部分の単語やフレーズは、正解の選択肢から十分外れていなければいけない。このため、自動作問に必要な技術として、文脈化単語埋め込みベクトル中の外れ値を検知する手法が有用であろうと推測される。本年度は、この技術に関する調査や予備的実験を行った。教師なしの深層外れ値検知の手法を用いた予備的実験では、定性的な有用性が確認された。
深層外れ値検知については、機械学習分野である程度先行研究の知見の蓄積がある。さらに、調査だけではなく、文脈化単語埋め込みと組み合わせた場合の実装と予備的実験も完了した。こうした知見を活用することで、今後の期間で、この技術を用いて自動作問を行える準備ができたため、おおむね順調に進展していると評価した。
|
| Strategy for Future Research Activity |
今年度得られた、文脈化単語埋め込みと深層外れ値検知技術の組み合わせに関する知見を、敵対的学習のフレームワークに組み入れていくことが、今後の研究の推進方策である。
そのためには、まずは、現在用いているような教師なし学習ではなく、Human-in-the-loopで人間の教師情報を取り入れることができるようにすることが基礎的であると考えられる。同じ深層学習のフレームワークで実装できることから、深層外れ値検知は敵対的学習とも親和性が高いと考えられる。
また、同一の学習者に対して継続的な言語テストを行った結果を集めたデータセットを作成することも重要である。現状、こうした通時的なデータセットには良質なものがないため、クラウドソーシングなどを活用して作成していく方策を予定している。
|
| Causes of Carryover |
令和元年度は、自然言語処理技術の主要技術が大きく変化し、文脈化単語埋め込みの技術に大きな進展があった。そのため、文脈化単語埋め込みのの技術を本研究に活用するための調査を主に行った。結果として、今後の自然言語処理技術の主要技術である文脈化単語埋め込みの技術と、本研究の開始段階の主眼であった敵対的学習の技術をうまく組み合わせる道筋が経ったため、研究の進捗はおおむね順調ではあるものの、調査が中心であったために、本来の研究発表や海外出張などにかかる費用が差額として生じた。また、令和元年度末のコロナウイルスにより、出張が難しくなった社会情勢も影響している。この差額は、今後、研究発表費用を中心に使用する計画である。
|
