2020 年度研究成果報告書

ナゲットに基づくタスク指向対話の自動評価に関する研究

研究課題

PDF

研究課題/領域番号	17H01830
研究種目	基盤研究(B)
配分区分	補助金
応募区分	一般
研究分野	図書館情報学・人文社会情報学
研究機関	早稲田大学
研究代表者	酒井哲也早稲田大学, 理工学術院, 教授 (80723519)
研究期間 (年度)	2017-04-01 – 2021-03-31
キーワード	対話 / ヘルプデスク / ナゲット / ordinal quantification / データセット
研究成果の概要	評価型国際会議NTCIR (NII Testbeds and Community for Information access Research) にて対話タスクを運営し、最終成果物としてヘルプデスク対話データセットDCH-2を構築した。これに関連し、WebDB Forum 2018論文賞Runner-upを受賞した。また、対話品質スコアの分布を推定させるタスクのための評価指標を設計し、有効性を示した。その成果を含む論文は、自然言語処理分野のトップ会議ACL-ICJNLP 2021にフルペイパーとして採択された。
自由記述の分野	情報検索、自然言語処理、インタラクション
研究成果の学術的意義や社会的意義	我々が構築した対話データセットDCH-2は利用許諾書にサインするだけで誰でも利用できる。元データは中国語であるが全てに人手による英訳を付与しているため汎用性が高い。さらに、我々が提案した対話品質スコアの分布を推定するタスクのための評価指標は、ordinal quantificationと呼ばれる形態のすべてのタスク（「ネガティブ」「ニュートラル」「ポジティブ」のような順序尺度上の分布を扱うタスク）に適用可能である。