2018 Fiscal Year Annual Research Report
ナゲットに基づくタスク指向対話の自動評価に関する研究
| Project/Area Number |
17H01830
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
酒井 哲也 早稲田大学, 理工学術院, 教授 (80723519)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 対話 / 評価 / 自然言語 / 情報アクセス |
|---|
| Outline of Annual Research Achievements |
コンペティション型国際会議NTCIR-14にてShort Text Conversation (STC-3) タスクをスケジュール通りに運営し、早稲田大学酒井研究室を含む12の研究機関から結果を提出してもらうことができた。このタスクは、顧客・ヘルプデスク間の対話の品質を推定するものであり、この技術は将来的に対話システムの応答戦略に応用可能である。タスクの評価方法については情報検索会議の最高峰SIGIRにて発表を行い、データセットに関してはJournal of Information Processingにてまとめた。後者はWebDB Forum 2018にてbest paper runner-upに選出された。
・Zeng, Z., Luo, C., Shang, L., Li, H., and Sakai, T.: Towards Automatic Evaluation of Customer-Helpdesk Dialogues, Journal of Information Processing, Volume 26, pp.768-778, 査読あり, 2018. WebDB Forum 2018 Best Paper Runner-up
・Sakai, T.: Comparing Two Binned Probability Distributions for Information Access Evaluation, Proceedings of ACM SIGIR 2018, pp.1073-1076, 査読あり, 2018.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下のスケジュールに沿ってタスク運営を進めることができた。
4月 データのクローリング＋アノテーションツールの開発、5-8月 データのアノテーション、9月 学習用データ公開、11月 評価用データ公開・結果提出締切、2月 タスクオーバービュー論文暫定版公開、3月 タスク参加者論文暫定版投稿
|
| Strategy for Future Research Activity |
2019年度の計画は以下の通りである。
・NTCIR-14にてタスク運営者およびタスク参加者としての研究成果を発表
・対話データセットDCH-1の中英翻訳を進め、より広くの対話研究者が使えるようにする
・NTCIR-15における対話タスクの設計と提案、推進
|
