2020 Fiscal Year Research-status Report
語学学習支援システムにおける能力測定のための自動作問技術に関する研究
| Project/Area Number |
18K18118
|
|---|
| Research Institution | Shizuoka Institute of Science and Technology |
|---|
Principal Investigator |
江原 遥 静岡理工科大学, 情報学部, 講師 (60738029)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 自動作問 / 項目反応理論 / 深層学習 / 文脈化単語埋め込み |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、語学学習支援システムにおける能力測定のための自動作問技術を開発することである。機械学習による自動作問器は、作成するだけであれば多数の問題を自動的に作成することは可能であるので、問題の質（良さ）の数値的評価を低コストで行うことができれば、質の高い問題を選び出すことが可能となる。問題の質を、経験のある語学教師によって人手評価を行うなどすると高コストになるので、なるべく（半）自動的に行うことが望ましい。ここで、テスト理論（項目反応理論）では、「他の設問で能力が高いと測定された学習者は正答しやすく、他の設問で能力が低いと測定された学習者は正当しにくい」問題であるかどうかを数値的に評価することで、設問の内容に依存せずに問題の質を評価することが可能となる。この性質を利用して、問題の質を自動的に評価することで、質の高い作問を可能とする生成器を構築することが本研究の主眼となる。生成器の作成には敵対的学習を用いることも考えられる。
本年度は、昨年度に開発した深層異常検知（外れ値検知）を用いた問題文の理解技術を深化した。令和元年度には自然言語処理分野全体として、BERT(NAACL2019)等の文脈化単語埋め込み手法による技術的ブレイクスルーが発表され、本年度には文法誤り訂正などの自動作問以外の語学学習支援にも、こうした技術が活用されてきている。本年度は、こうした技術的進展の流れを合わせて調査した。こうした調査と合わせて、本年度は、自然言語理解において外れ値となる選択肢を自動発見する技術などを深化させ、これらの結果を研究論文として発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
引き続き、平成30年度に提案されたBERT [Devlin et al., NAACL2019]などの文脈化単語埋め込みの手法を、本研究の目的に合わせて応用し、先端技術を用いた自動作問技術の開発につとめている。文脈化単語埋め込みの手法を用いた語学学習支援の技術は、自動作問以外の問題設定でも応用されてきており、本年度は、併せてこうした関連研究の調査も行った。
自動作問のためには、文中での設問部分の単語やフレーズと、選択肢部分の単語やフレーズの意味的距離を把握することが必要である。そして、選択肢部分の単語やフレーズは、正解の選択肢から十分外れていなければいけない。自動作問に必要な技術として、文脈化単語埋め込みベクトル中の外れ値を検知する手法が有用であろうと推測されるので、昨年度は、この技術に関する調査や予備的実験を行った。本年度は、この手法に対する追加の知見を国内学会でも報告した。さらに、本年度は、自動作問技術の社会実装を見据えて、直接の技術的な繋がりはないが、実際の講義で数学の自動作問を用いた事例について合わせて報告した。また、本年度は、クラウドソーシングなどを活用して試験的なデータ作成も行った。
以上の理由により、最終年度に向けて、文脈化単語埋め込み技術を活用した自動作問技術の開発と発表を行うめどがついたため、おおむね順調に進展していると評価した。
|
| Strategy for Future Research Activity |
引き続き、昨年度得られた、文脈化単語埋め込みと深層外れ値検知技術の組み合わせに関する知見を用いた自動作問技術を深化させていくことが、今後の研究の推進方策である。
そのためには、深層外れ値検知技術を深化させ、大規模なコーパスから教師なしで語の意味的関係性を学習するだけではなく、実際の作問者の問題選択や、学習者の回答傾向などについて少量の教師情報を取り込むことができる技術の開発が求められる。
本年度作成したデータを用いて、こうした技術に該当する手法を提案し、最終年度に向けて発表していくことが、今後の研究の推進方策である。
|
| Causes of Carryover |
令和2年度は新型コロナウイルスにより、国内学会・国際学会がほぼ全てオンラインに移行したことが大きな理由である。この差額は、今後を中心に使用する計画である。令和元年度から自然言語処理技術の主要技術が大きく変化し、文脈化単語埋め込みの技術に大きな進展があった。本年度までの調査で、文脈化単語埋め込みなど、自然言語処理の先端技術を利用するためには、大容量のメモリを要するGraphic Processing Unit（GPU）と呼ばれる計算装置が、標準的に必要となることがわかってきている。業界全体としても、実験の再現性のため、1研究室で賄える程度の予算で可能な実験設定が整備されてきており、必要とされる機材の性能や価格が安定してきている。以上の理由により、差額分は、機材購入と研究発表費用に主に使用する予定である。
|
