2021 Fiscal Year Research-status Report
Automatic Checking of Foreign Language Writing Based on Neural Machine Translation and Natural Language Inference
| Project/Area Number |
20K00830
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
綱川 隆司 静岡大学, 情報学部, 講師 (30611214)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 自動添削 / 外国語作文 / 和文英訳 / 誤り検出 / 誤り訂正 |
|---|
| Outline of Annual Research Achievements |
本研究は、和文英訳などの外国語作文の学習を支援するための自動添削システムを、ニューラル機械翻訳や自然言語推論等の最先端の自然言語処理技術に基づいて構築することを目的とする。学習者による訳文が意味的に適切かどうかの推定および誤り箇所の検出・訂正において、従来の枠組みにとらわれず最先端の技術を効果的に用いるための具体的な方法論を探求する。本提案システムは和文英訳を主な研究対象とするが、システム構築に必要な言語資源が存在する限り、言語対に依存しない手法を中心に検討する。
令和3年度は、実際の和文英訳問題を用いて誤り検出を行う実証実験および誤り訂正手法の検討を行った。誤り検出においては、学習者による訳文と問題文が同じ意味を表すかどうかを判定する手法として、従来の提案手法である含意関係認識を用いた方法のほか、文の意味を表現する文ベクトルをSentenceBERTと呼ばれる変換技術を用いて言語横断的に求めることで、文の意味の近さを文ベクトルのコサイン類似度で測る手法を提案した。500問の和文英訳問題データを用いた評価実験において、誤り検出の適合率74%、再現率94%を達成し、従来の提案手法より高い性能が得られることを示した。誤り訂正手法の検討については、誤りが含まれている場合の単語およびフレーズのアラインメント方法の検討を中心に、実験用問題データの形式検討および作成準備、ルールベースによる文法誤り訂正等従来手法による誤り訂正モデルとの統合準備を行った。令和4年度は引き続き文法誤り訂正手法の検討・実証実験および自動添削システム全体の構築に取り組む。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和3年度までで誤り検出モデルについての評価実験を概ね完了し、誤り訂正についても手法検討と評価用データの作成を通じて課題期間内に評価用の自動添削システムおよび実証実験を完了できる見込みがあるため。
|
| Strategy for Future Research Activity |
誤りを含む学習者の作文に対して深層学習ベースの技術を用いた単語・フレーズ間の対応付けによる誤り箇所の同定を行う提案手法の検討を行う。また、発見した誤り箇所に対する適切な添削コメントを出力するための実装を行い、意味内容に関する添削部分を完成させる。さらに、自動添削システム全体の有用性の評価を行うため、ルールベースによるスペル・文法チェック部分を実装して統合し、評価用データによる実証実験を行う。
|
| Causes of Carryover |
現在のコロナ禍のために多くの学会がオンラインまたは現地とのハイブリッド開催となっており旅費の計上が不要であること、及び評価用データ作成・人手評価のための人件費・謝金が当初の想定より少なく済んだことによる。次年度、主に人件費・謝金および成果発表費に充当する計画である。
|
