2022 Fiscal Year Annual Research Report
選択問題を活用した対話システム研究開発プロセスの刷新
| Project/Area Number |
21J22383
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
佐藤 志貴 東北大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 自然言語処理 / 計算言語学 / 対話システム / 自動評価 |
|---|
| Outline of Annual Research Achievements |
本研究では，対話応答選択タスク(文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク)の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する.ここで，文脈は現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する.本年度から，長期的文脈を有する対話の選択問題の構築と，誤り候補に対する誤り種類ラベル付与に取り組み始めた．
まず，長期的文脈を有する対話の収集に取り掛かった．長期的文脈を持つ対話データは分野では少数しか収集されていない．そこで，ターン数の多い対話から擬似的に長期的文脈と短期的文脈の対を作成する方法を提案し，提案方法により高品質な長期的文脈付き対話を収集した．
次に，選択問題の選択肢の収集に取り掛かった．1年目の取り組みで，誤り種類のうち矛盾（文脈と相反する内容の発話を生成してしまう誤り）については，事前に収集した誤り候補に対するラベリングにより用意した選択肢を用いたとしても，対話応答選択の枠組みでシステムの応答生成傾向が適切に評価できないことがわかっている．そこで，矛盾に関しては1年目での短期的文脈のみ有する対話に対する取り組みと同様に，対話システムにより実際に生成される矛盾応答を収集することとした．具体的には，1年目で確立した，(i) 対話システムが矛盾を生成しやすい文脈の特定方法， (ii) 矛盾の効率的な収集方法を組み合わせて長期的文脈部分に矛盾するシステム発話を収集する．現時点で，収集のためのフレームワークの構築と，小規模な予備収集実験が完了している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定では長期的文脈を持たない対話について先にラベル付与を実施する予定であった一方で，今年度は以上で述べたように，先に長期的文脈を持つ対話に関するラベル付与準備に取り組むこととした．これは，長期的文脈を持つ対話，持たない対話両方同時にラベル付与を実施することによってより作業を効率化するためである．
取り組みの順番こそ当初の計画とは異なるが，長期的文脈を持つ対話に関しては先述の方法により高品質なものが収集できるなど，最終的な評価の枠組みの構築に向け順調に研究は進行しているといえる．
|
| Strategy for Future Research Activity |
矛盾を含む候補の収集を完了した後は，長期的文脈を持つ対話について，短期的文脈のみ持つ対話に対して実施した際と同様に，他の誤り種類についてのラベル付与対象となる誤り候補の収集を行う．そのうえで，長期的文脈を持つ対話，持たない対話それぞれについて誤り候補への大規模ラベル付与を実施する予定である．
|
