2019 Fiscal Year Research-status Report
Study on Automatic Review of Essay Based on Generative Adversarial Networks
| Project/Area Number |
18K13240
|
|---|
| Research Institution | Tohoku Fukushi University |
|---|
Principal Investigator |
岩田 一樹 東北福祉大学, 総合マネジメント学部, 講師 (20515457)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 敵対生成ネットワーク / 文書生成 / 自動評価 |
|---|
| Outline of Annual Research Achievements |
本研究は小論文やレポートなど評価するにあり、採点者の負担軽減、および、採点のゆらぎの低減を目的に、敵対生成ネットワークのDiscriminatorに着目して、自動評価システムの構築を目指すものである。
該当年度は自動評価を実現するに当たり、最適な敵対生成ネットワークアルゴリズムを探索するために、日本語で記載された文章を元に敵対生成ネットワークを用いた文書生成を実施し、その挙動やDiscriminatorの鑑定精度について比較検討を行った。
具体的には、SeqGAN、TextGAN、LeakGANの3つの敵対生成ネットワークアルゴリズムと、比較のために、Maximum Likehood Estimation（MLE）を加えて文書生成を行い、機械による文書生成の指標として利用される、Negative Log-Likelihood loss（NLL）やBLEU score などの指標について比較を行った。なお、敵対生成ネットワークの比較対象として、上記のアルゴリズムを選択した理由は、SeqGANは最初に提案された文書生成用の敵対生成ネットワークであることから、ベースラインとして選択した。また、TextGANについては強化学習を使用しないタイプの文書生成モデルであることから、強化学習を利用しているSeqGAN、LeakGANとの比較のために選択した。そして、LeakGANは本研究の目的が人らしい文書の生成ではなく、小論文やレポートらしい文書かの識別のため、そのアルゴリズムの特徴である識別器から生成器への情報リークによって、より識別が安定することを期待して選択した。なお、MLEは敵対生成ではない文書生成手法であり、敵対生成との比較のために選択した。
比較の結果、文書生成器としては、Leak GANの性能が最も高く、また、識別精度も良いことがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画にそって、敵対生成ネットワークによる文書生成の比較検討が実施できた。最終年度である2020年度は、実際に自動評価を行い、その性能を行う予定である。
|
| Strategy for Future Research Activity |
2020年度は、2019年度に比較検討した結果を踏まえ、Leak GANアルゴリズムを中心に文書の自動評価実験を行う。
また、これまでは、比較的文数の多い文章群（5万～10万文字）を元に学習させてきたが、実際のレポートや小論文は1000文字のオーダーとなることが想定される。したがって、1000文字程度の文字数の文章群から生成器と識別器を構築、自動評価実験も実施する。
|
