2020 Fiscal Year Research-status Report
Automatic Checking of Foreign Language Writing Based on Neural Machine Translation and Natural Language Inference
| Project/Area Number |
20K00830
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
綱川 隆司 静岡大学, 情報学部, 講師 (30611214)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 自動添削 / 外国語作文 / 和文英訳 / 誤り検出 / 誤り訂正 |
|---|
| Outline of Annual Research Achievements |
本研究は、和文英訳などの外国語作文の学習を支援するための自動添削システムを、ニューラル機械翻訳や自然言語推論等の最先端の自然言語処理技術に基づいて構築することを目的とする。学習者による訳文が意味的に適切かどうかの推定および誤り箇所の検出・訂正において、従来の枠組みにとらわれず最先端の技術を効果的に用いるための具体的な方法論を探求する。本提案システムは和文英訳を当初の主な研究対象とするが、システム構築に必要な言語資源が存在する限り、言語対に依存しない手法を中心に検討する。
令和2年度は、添削システムの構成要素のうち、正解訳候補を得るためのニューラル機械翻訳と、正解訳・学習者訳間の等価性を判定するための自然言語推論のモジュールを構成し、和文英訳における有用性の検証を行った。また、誤りを含む学習者訳について誤り箇所の検出と訂正を行うためのプロトタイプとなるモデルを構成し、システム全体としての主観評価を実施した。英文の空欄補充問題から構築した誤りを含む訳文のデータセットを用いた誤りの検出精度評価においては、97%の適合率、70%の再現率を得た。また誤り箇所の検出と訂正を行うプロトタイプシステムについて人手による主観評価を行った結果、現状では一部のフレーズの欠落が検出できない、文法的には正しいが意味的に誤った訂正がなされる等の課題が残っており、改善の余地が多く残されていることが判明した。現状はプロトタイプシステムの構築に主眼を置いたため調整すべき要素が多く残されており、次年度以降モデルや誤り検出・訂正精度の改善に取り組む。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の初年度の計画における自動添削システムの構築については、ニューラル機械翻訳と自然言語推論の結果の活用および正解文と訳出文との対応付けについてベースとなる方法を実装し、プロトタイプとなるシステムの構築と主観評価の実施まで完了しているため。
|
| Strategy for Future Research Activity |
初年度に構築したプロトタイプシステムをもとに、誤り検出精度向上と誤り訂正手法の改善を行う。誤り検出では自然言語推論の結果と文法誤りや時制など細かい誤りに対応できるようなモデルを検討する。誤り訂正では複数の修正候補の中から適したものを選択するためのモデルの構築および複数箇所の誤り検出について検討する。
|
| Causes of Carryover |
新型コロナウイルスのため多くの学会がオンライン開催となり、旅費の計上が必要なくなったこと、サーバ購入費が想定より少なく済んだことなどから主に実験補助のための人件費・謝金を中心に支出したものの次年度使用額が生じた。次年度、人件費・謝金または学会参加費等に充当する計画である。
|
