2020 Fiscal Year Annual Research Report
ナゲットに基づくタスク指向対話の自動評価に関する研究
| Project/Area Number |
17H01830
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
酒井 哲也 早稲田大学, 理工学術院, 教授 (80723519)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 対話 / データセット / ヘルプデスク / 評価指標 |
|---|
| Outline of Annual Research Achievements |
韓国の検索エンジン会社最大手のNaver Corporationと共同で、国際評価型会議第15回NTCIR (NII Testbeds and Community for Information Access Research)において、Dialogue Evaluation Task 1を運営した。このタスクには国内外から7研究機関の参加があり、盛況であった。またこの副産物として中英ヘルプデスク対話データセットDCH-2を完成させ、対話研究コミュニティで利用できるようにした。上記NTCIR-15においては、オーガナイザとしての論文と、参加チームとしての論文2件を発表した。また、第16回NTCIR向けに提案した第2回Dialogue Evaluation Taskも採択が決まった。さらに、対話品質評価に役立つ評価指標としてSIGIR 2018にて提案したRSNOD (Root Symmetric Normalised Order-aware Divergence のの有効性を、NTCIRのデータに加えてSemEvalという別の自然言語処理タスクのデータにより示し、ACL-IJCNLP 2021にプルペーパーを投稿した。最終的な査読結果が出るのは5月であるが、3月時点でのrebuttal向け暫定査読結果は大変評価の高いものであった。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Research Products
(5 results)
