ナゲットに基づくタスク指向対話の自動評価に関する研究
| Project/Area Number |
17H01830
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Research Field |
Library and information science/Humanistic social informatics
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
酒井 哲也 早稲田大学, 理工学術院, 教授 (80723519)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥14,690,000 (Direct Cost: ¥11,300,000、Indirect Cost: ¥3,390,000)
Fiscal Year 2020: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2019: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2018: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2017: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
|
|---|
| Keywords | 対話 / 評価 / 自然言語 / 情報アクセス / 情報検索 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
コンペティション型国際会議NTCIR-14にて申請者らが主催したShort Text Conversation (STC-3) タスクの後継タスクとして、申請者ら主催のNTCIR-15 Dialogue Evaluation (DialEval-1) タスクが採択され、2020年12月の最終報告会 (NTCIR-15) に向けて準備を進めている。2019年度は、DialEval-1タスクのために新たにテスト対話データをクローリングしてアノテーションを行い、これを含めた中英翻訳作業を進めた。NTCIR-14においては、タスク主催者および参加者として以下の発表を行い、参加者としては中国語・英語の多くのサブタスクにおいて最高成績を収めることができた。
Kato, S., Suzuki, R., Zeng, Z., and Sakai, T.: SLSTC at the NTCIR-14 STC-3 Dialogue Quality and Nugget Detection Subtasks, Proceedings of NTCIR-14, pp.355-361, 査読なし, 2019. http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings14/pdf/ntcir/06-NTCIR14-STC-KatoS.pdf
Zeng, Z., Kato, S., and Sakai, T.: Overview of the NTCIR-14 Short Text Conversation Task: Dialogue Quality and Nugget Detection Subtasks, Proceedings of NTCIR-14, pp.289-315, 査読なし, 2019. http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings14/pdf/ntcir/01-NTCIR14-OV-STC-ZengZ.pdf
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ウェブサイト http://sakailab.com/dialeval1/ に公開しているように、以下のスケジュール通りにNTCIR-15 DialEval-1のタスク運営を進めることができた。
2019年6月 テストデータのクローリング
2019年8-10月 テストデータおよび既存のデータの中英翻訳
2019年10-12月 テストデータのアノテーション
現時点では、5つの研究期間がタスク参加登録を済ませている。参加者としては、申請者らは韓国企業との合同チームを立ち上げて臨んでいる。
|
| Strategy for Future Research Activity |
2020年度の計画は以下の通りである。
6-9月 対話中英翻訳データの拡充と整備／6月 参加者へのテストデータ公開／7月 参加者からの結果提出締切／8月 評価結果公開／12月 NTCIR-15最終報告会／2月 DialEval-1の成果に基づく国際会議への論文投稿
|
Report
(3 results)
Research Products
(9 results)
