| 研究課題/領域番号 |
18K13240
|
|---|
| 研究機関 | 東北福祉大学 |
|---|
研究代表者 |
岩田 一樹 東北福祉大学, 総合マネジメント学部, 講師 (20515457)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 敵対生成ネットワーク / 文書生成 / 自動評価 |
|---|
| 研究実績の概要 |
本研究は小論文やレポートなど評価するにあり、採点者の負担軽減、および、採点のゆらぎの低減を目的に、敵対生成ネットワークのDiscriminatorに着目して、自動評価システムの構築を目指すものである。
該当年度は自動評価を実現するに当たり、最適な敵対生成ネットワークアルゴリズムを探索するために、日本語で記載された文章を元に敵対生成ネットワークを用いた文書生成を実施し、その挙動やDiscriminatorの鑑定精度について比較検討を行った。
具体的には、SeqGAN、TextGAN、LeakGANの3つの敵対生成ネットワークアルゴリズムと、比較のために、Maximum Likehood Estimation（MLE）を加えて文書生成を行い、機械による文書生成の指標として利用される、Negative Log-Likelihood loss（NLL）やBLEU score などの指標について比較を行った。なお、敵対生成ネットワークの比較対象として、上記のアルゴリズムを選択した理由は、SeqGANは最初に提案された文書生成用の敵対生成ネットワークであることから、ベースラインとして選択した。また、TextGANについては強化学習を使用しないタイプの文書生成モデルであることから、強化学習を利用しているSeqGAN、LeakGANとの比較のために選択した。そして、LeakGANは本研究の目的が人らしい文書の生成ではなく、小論文やレポートらしい文書かの識別のため、そのアルゴリズムの特徴である識別器から生成器への情報リークによって、より識別が安定することを期待して選択した。なお、MLEは敵対生成ではない文書生成手法であり、敵対生成との比較のために選択した。
比較の結果、文書生成器としては、Leak GANの性能が最も高く、また、識別精度も良いことがわかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の計画にそって、敵対生成ネットワークによる文書生成の比較検討が実施できた。最終年度である2020年度は、実際に自動評価を行い、その性能を行う予定である。
|
| 今後の研究の推進方策 |
2020年度は、2019年度に比較検討した結果を踏まえ、Leak GANアルゴリズムを中心に文書の自動評価実験を行う。
また、これまでは、比較的文数の多い文章群（5万～10万文字）を元に学習させてきたが、実際のレポートや小論文は1000文字のオーダーとなることが想定される。したがって、1000文字程度の文字数の文章群から生成器と識別器を構築、自動評価実験も実施する。
|
