2021 Fiscal Year Annual Research Report
選択問題を活用した対話システム研究開発プロセスの刷新
| Project/Area Number |
21J22383
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
佐藤 志貴 東北大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 自然言語処理 / 計算言語学 / 対話システム / 自動評価 |
|---|
| Outline of Annual Research Achievements |
本研究では，対話応答選択タスク（文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク）の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する．文脈は，現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する．本年度は，短期的文脈のみ有する対話についてラベル付与に取り組んだ．
大規模ラベル付与の実施に先立ち，誤り発話の一部に誤り種類ラベルを付与したうえで得られる対話システムの選択誤りの傾向が，実際にシステムが生成する発話の傾向を反映しているか確認することを通し，収集した誤り発話が本枠組みにおける誤り候補として機能するか検証した．検証の結果，収集した誤り発話と対話システムの実際の発話の間の使用単語などにおける差異により，矛盾という複雑な誤りについては選択誤りの傾向に実際のシステムの発話の傾向が反映されないことが判明した．以上から，対話システムが実際に生成する矛盾発話を収集し誤り候補として用いることで，これら差異を軽減する必要があるという結論に至った．
そこで，実際に対話システムが生成する矛盾発話を収集する研究に取り組んだ．この研究は追加の取り組みにあたるが，矛盾は対話の流れに著しく悪影響を及ぼす深刻な誤りであり，本研究課題の遂行を目指すうえで不可欠な取り組みと判断した．この取り組みに関する本年度の研究成果として（i）対話システムは文脈と関連性の高い内容を問う質問に対して特に矛盾発話を生成してしまう傾向があることを定量的に確認したうえで（ii）対話システムは応答探索の方法に変化を与えることで矛盾発話を生成する可能性があることを実験的に確認した．両知見を組み合わせることで，効率的なシステム矛盾発話の収集が可能となる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上述の (i), (ii) の知見を組み合わせ，システムの矛盾発話の収集に取り組むことができる状況にある．さらに，矛盾発話の収集が完了することで，対話応答選択による対話システムの自動分析のための高品質な誤り候補の収集が完了するため，改めて誤り候補への大規模ラベル付与を実施できる．当初の計画よりも，更にシステムの分析に適した誤り候補を収集したうえで研究計画に沿った取り組みを実施できる状況にあり，研究課題はおおむね順調に進んでいる．
|
| Strategy for Future Research Activity |
上述の (i), (ii) の知見を組み合わせることで，矛盾発話の収集を実施する．その後大規模ラベル付与に取り掛かる．ラベル付与が終了し次第，計画通り長期文脈を有する対話についての自動分析の枠組みの構築に着手する．
|
