|
本年度は、昨年度に引き続き非英語母語話者が言語生成モデルを搭載した執筆支援システムをどのように利用するかを調査した。具体的には、非英語母語話者がどのように執筆し、どのようにモデルの出力を評価するか、また、どういった要因がシステムの印象形成につながるかを調べた。これらの研究成果をまとめ国際学会に投稿中である。
先の非英語母語話者の執筆支援システムの利用を調査したところ、多くの非英語母語話者は機械翻訳による逆翻訳や辞書などを使用しながらシステムの出力を評価していることがわかった。非英語母語話者がシステムの出力の評価に苦労していることが示唆される。そこで、本年度は、非英語母語話者の出力選択を支援するため、テキスト自動品質評価に関する研究を行った。特に、「参照なし手法」と呼ばれるアプローチに焦点を当てた。
まず、参照なし手法に関して包括的なサーベイを行った。そのサーベイの結果をまとめ、サーベイ論文を執筆し、国際論文誌に投稿中である。サーベイを行うことで、頑健性が参照なし評価指標の課題の一つであることがわかった。参照なし評価指標の多くは、ニューラルベースの教師あり評価指標である。特に、人がアノテーションした評価スコアを教師に評価指標を学習する。そのため、機械学習一般の課題でもあるが、学習データのドメイン外のデータに対して適用すると性能が落ちる可能性が高い。そのため、まずは評価事例がドメイン外かどうかを検出する手法を検討した。本研究の成果をまとめ、言語処理学会第29回年次大会に投稿し、若手奨励受賞した。さらに、参照なし評価指標を用いて複数のモデルの出力から良い出力を選択するという研究にも、共著者として関わり、言語処理学会第29回年次大会にて賞を受賞した。
|
