• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ナゲットに基づくタスク指向対話の自動評価に関する研究

研究課題

研究課題/領域番号 17H01830
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 図書館情報学・人文社会情報学
研究機関早稲田大学

研究代表者

酒井 哲也  早稲田大学, 理工学術院, 教授 (80723519)

研究期間 (年度) 2017-04-01 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
14,690千円 (直接経費: 11,300千円、間接経費: 3,390千円)
2020年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2019年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2018年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2017年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
キーワード対話 / ヘルプデスク / ナゲット / ordinal quantification / データセット / 評価指標 / 評価 / 自然言語 / 情報アクセス / 情報検索 / 人工知能
研究成果の概要

評価型国際会議NTCIR (NII Testbeds and Community for Information access Research) にて対話タスクを運営し、最終成果物としてヘルプデスク対話データセットDCH-2を構築した。これに関連し、WebDB Forum 2018論文賞Runner-upを受賞した。また、対話品質スコアの分布を推定させるタスクのための評価指標を設計し、有効性を示した。その成果を含む論文は、自然言語処理分野のトップ会議ACL-ICJNLP 2021にフルペイパーとして採択された。

研究成果の学術的意義や社会的意義

我々が構築した対話データセットDCH-2は利用許諾書にサインするだけで誰でも利用できる。元データは中国語であるが全てに人手による英訳を付与しているため汎用性が高い。さらに、我々が提案した対話品質スコアの分布を推定するタスクのための評価指標は、ordinal quantificationと呼ばれる形態のすべてのタスク(「ネガティブ」「ニュートラル」「ポジティブ」のような順序尺度上の分布を扱うタスク)に適用可能である。

報告書

(5件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実績報告書
  • 2018 実績報告書
  • 2017 実績報告書
  • 研究成果

    (14件)

すべて 2020 2019 2018 2017 その他

すべて 国際共同研究 (2件) 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (8件) (うち国際学会 8件) 備考 (3件)

  • [国際共同研究] Naver Corporation(韓国)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] 清華大学/華為技術/今日頭條(中国)

    • 関連する報告書
      2017 実績報告書
  • [雑誌論文] Towards Automatic Evaluation of Customer-Helpdesk Dialogues2018

    • 著者名/発表者名
      Zhaohao Zeng, Cheng Luo, Lifeng Shang, Hang Li, Tetsuya Sakai
    • 雑誌名

      Journal of Information Processing

      巻: 26 号: 0 ページ: 768-778

    • DOI

      10.2197/ipsjjip.26.768

    • NAID

      130007511649

    • ISSN
      1882-6652
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] RSLNV at the NTCIR-15 Dialogue Evaluation (DialEval-1) Task2020

    • 著者名/発表者名
      Ting Cao, Fan Zhang, Haoxiang Shi, Zhaohao Zeng, Sosuke Kato, Tetsuya Sakai, Injae Lee, Kyungduk Kim, and Inho Kang
    • 学会等名
      NTCIR-15
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] SKYMN at the NTCIR-15 DialEval-1 Task2020

    • 著者名/発表者名
      Junjie Wang, Yuxiang Zhang, Tetsuya Sakai, and Hayato Yamana
    • 学会等名
      NTCIR-15
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Overview of the NTCIR-15 Dialogue Evaluation (DialEval-1) Task2020

    • 著者名/発表者名
      Zhaohao Zeng, Sosuke Kato, Tetsuya Sakai, and Inho Kang
    • 学会等名
      NTCIR-15
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] SLSTC at the NTCIR-14 STC-3 Dialogue Quality and Nugget Detection Subtasks2019

    • 著者名/発表者名
      Sosuke Kato and Rikiya Suzuki and Zhaohao Zeng and Tetsuya Sakai
    • 学会等名
      NTCIR-15
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Overview of the NTCIR-14 Short Text Conversation Task: Dialogue Quality and Nugget Detection Subtasks2019

    • 著者名/発表者名
      Zhaohao Zeng and Sosuke Kato and Tetsuya Sakai
    • 学会等名
      NTCIR-15
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Comparing Two BinnedProbability Distributions for Information Access Evaluation2018

    • 著者名/発表者名
      Tetsuya Sakai
    • 学会等名
      ACM SIGIR 2018
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Test Collections and Measures for Evaluating Customer-Helpdesk Dialogues2017

    • 著者名/発表者名
      Zeng, Z., Luo, C., Shang, L., Li, H., and Sakai, T.
    • 学会等名
      The 8th International Workshop on Evaluating Information Access (EVIA 2017)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Towards Automatic Evaluation of Multi-Turn Dialogues: A Task Design that Leverages Inherently Subjective Annotations2017

    • 著者名/発表者名
      Sakai, T.
    • 学会等名
      The 8th International Workshop on Evaluating Information Access (EVIA 2017)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [備考] NTCIR Dialogue Evaluation Task

    • URL

      http://sakailab.com/dialeval1/

    • 関連する報告書
      2020 実績報告書
  • [備考] ヘルプデスク対話データセットDCH-1 (中国語、一部英訳あり)

    • URL

      http://waseda.box.com/DCH-0-1

    • 関連する報告書
      2017 実績報告書
  • [備考] NTCIR-14 Short Text Conversation 3 タスク ホームページ

    • URL

      http://sakailab.com/ntcir14stc3/

    • 関連する報告書
      2017 実績報告書

URL: 

公開日: 2017-04-28   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi