2022 Fiscal Year Annual Research Report
Automatic Checking of Foreign Language Writing Based on Neural Machine Translation and Natural Language Inference
| Project/Area Number |
20K00830
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
綱川 隆司 静岡大学, 情報学部, 講師 (30611214)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 自動添削 / 外国語作文 / 和文英訳 / 誤り検出 / 誤り訂正 |
|---|
| Outline of Annual Research Achievements |
本研究は和文英訳等の外国語作文問題の回答を自動的に添削するシステムの構築を目的としたものである。英語学習者が任意の和文英訳問題を解く学習を行う際、自分の回答と正解訳例を見比べて正しいかどうか、誤りがあればどう修正すればよいかについて自身で判断することは一般には難しい。そこで機械翻訳による訳例も含め複数の正解訳例の中から学習者の回答に近いものを選んだ上で、回答と正解訳の意味が異なっているどうかを判定する「誤り検出」、および誤りがある場合に修正箇所と修正候補を提示する「誤り訂正」の二つの課題を解くことを目標とする。
令和2～3年度は誤り検出手法の検討および実証実験を行うとともに、誤り訂正手法の検討を行った。文の意味的な等価性を判定するための自然言語推論モジュールに加え、Sentence BERTと呼ばれる技術により文の意味を表現する文ベクトルを言語横断的に求める手法を採用し、誤り検出の精度評価において適合率67%、再現率95%を達成し、従来の提案手法より高い性能が得られることを示した。また誤り訂正手法についての単語アラインメント手法の検討、実験用問題データの作成を行った。
最終年度となる令和4年度は誤り検出部・誤り訂正部を統合した添削システムを構築し、評価実験を行うとともに性能向上に寄与する手法の提案を行った。誤り訂正においては日本語の問題文と学習者訳、および問題文と正解訳のそれぞれの組の単語アラインメント結果を比較するとともに、対訳辞書による正誤判定、フレーズ対応等の手法を組み込んだ誤り訂正手法を提案した。誤り訂正に対する評価実験では適切な添削が58%、不要な添削が36%、提示すべきだがされなかった添削が6%という結果が得られ、実用上はより性能向上が必要であると考えられるものの一定の評価を得たとともに、添削システム全体についての主観評価では概ね良好な結果を得た。
|
