| 研究課題/領域番号 |
21J22383
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
佐藤 志貴 東北大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2021-04-28 – 2024-03-31
|
| キーワード | 自然言語処理 / 計算言語学 / 対話システム / 自動評価 |
|---|
| 研究実績の概要 |
本研究では，対話応答選択タスク（文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク）の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する．文脈は，現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する．本年度は，短期的文脈のみ有する対話についてラベル付与に取り組んだ．
大規模ラベル付与の実施に先立ち，誤り発話の一部に誤り種類ラベルを付与したうえで得られる対話システムの選択誤りの傾向が，実際にシステムが生成する発話の傾向を反映しているか確認することを通し，収集した誤り発話が本枠組みにおける誤り候補として機能するか検証した．検証の結果，収集した誤り発話と対話システムの実際の発話の間の使用単語などにおける差異により，矛盾という複雑な誤りについては選択誤りの傾向に実際のシステムの発話の傾向が反映されないことが判明した．以上から，対話システムが実際に生成する矛盾発話を収集し誤り候補として用いることで，これら差異を軽減する必要があるという結論に至った．
そこで，実際に対話システムが生成する矛盾発話を収集する研究に取り組んだ．この研究は追加の取り組みにあたるが，矛盾は対話の流れに著しく悪影響を及ぼす深刻な誤りであり，本研究課題の遂行を目指すうえで不可欠な取り組みと判断した．この取り組みに関する本年度の研究成果として（i）対話システムは文脈と関連性の高い内容を問う質問に対して特に矛盾発話を生成してしまう傾向があることを定量的に確認したうえで（ii）対話システムは応答探索の方法に変化を与えることで矛盾発話を生成する可能性があることを実験的に確認した．両知見を組み合わせることで，効率的なシステム矛盾発話の収集が可能となる．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
上述の (i), (ii) の知見を組み合わせ，システムの矛盾発話の収集に取り組むことができる状況にある．さらに，矛盾発話の収集が完了することで，対話応答選択による対話システムの自動分析のための高品質な誤り候補の収集が完了するため，改めて誤り候補への大規模ラベル付与を実施できる．当初の計画よりも，更にシステムの分析に適した誤り候補を収集したうえで研究計画に沿った取り組みを実施できる状況にあり，研究課題はおおむね順調に進んでいる．
|
| 今後の研究の推進方策 |
上述の (i), (ii) の知見を組み合わせることで，矛盾発話の収集を実施する．その後大規模ラベル付与に取り掛かる．ラベル付与が終了し次第，計画通り長期文脈を有する対話についての自動分析の枠組みの構築に着手する．
|
