• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

選択問題を活用した対話システム研究開発プロセスの刷新

Research Project

Project/Area Number 21J22383
Allocation TypeSingle-year Grants
Research InstitutionTohoku University

Principal Investigator

佐藤 志貴  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2021-04-28 – 2024-03-31
Keywords自然言語処理 / 計算言語学 / 対話システム / 自動評価
Outline of Annual Research Achievements

本研究では,対話応答選択タスク(文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク)の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで,選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する.ここで,文脈は現在行っている対話内のやりとりである短期的文脈と,過去行われた別の対話のやりとりである長期的文脈の二つが存在する.本年度から,長期的文脈を有する対話の選択問題の構築と,誤り候補に対する誤り種類ラベル付与に取り組み始めた.
まず,長期的文脈を有する対話の収集に取り掛かった.長期的文脈を持つ対話データは分野では少数しか収集されていない.そこで,ターン数の多い対話から擬似的に長期的文脈と短期的文脈の対を作成する方法を提案し,提案方法により高品質な長期的文脈付き対話を収集した.
次に,選択問題の選択肢の収集に取り掛かった.1年目の取り組みで,誤り種類のうち矛盾(文脈と相反する内容の発話を生成してしまう誤り)については,事前に収集した誤り候補に対するラベリングにより用意した選択肢を用いたとしても,対話応答選択の枠組みでシステムの応答生成傾向が適切に評価できないことがわかっている.そこで,矛盾に関しては1年目での短期的文脈のみ有する対話に対する取り組みと同様に,対話システムにより実際に生成される矛盾応答を収集することとした.具体的には,1年目で確立した,(i) 対話システムが矛盾を生成しやすい文脈の特定方法, (ii) 矛盾の効率的な収集方法を組み合わせて長期的文脈部分に矛盾するシステム発話を収集する.現時点で,収集のためのフレームワークの構築と,小規模な予備収集実験が完了している.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定では長期的文脈を持たない対話について先にラベル付与を実施する予定であった一方で,今年度は以上で述べたように,先に長期的文脈を持つ対話に関するラベル付与準備に取り組むこととした.これは,長期的文脈を持つ対話,持たない対話両方同時にラベル付与を実施することによってより作業を効率化するためである.
取り組みの順番こそ当初の計画とは異なるが,長期的文脈を持つ対話に関しては先述の方法により高品質なものが収集できるなど,最終的な評価の枠組みの構築に向け順調に研究は進行しているといえる.

Strategy for Future Research Activity

矛盾を含む候補の収集を完了した後は,長期的文脈を持つ対話について,短期的文脈のみ持つ対話に対して実施した際と同様に,他の誤り種類についてのラベル付与対象となる誤り候補の収集を行う.そのうえで,長期的文脈を持つ対話,持たない対話それぞれについて誤り候補への大規模ラベル付与を実施する予定である.

  • Research Products

    (7 results)

All 2023 2022

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (4 results)

  • [Journal Article] N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models2022

    • Author(s)
      Shiki Sato, Reina Akama, Hiroki Ouchi, Ryoko Tokuhisa, Jun Suzuki, and Kentaro Inui
    • Journal Title

      Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue

      Volume: - Pages: 637-644

    • Peer Reviewed / Open Access
  • [Journal Article] Target-Guided Open-Domain Conversation Planning2022

    • Author(s)
      Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, and Kentaro Inui
    • Journal Title

      Proceedings of the 29th International Conference on Computational Linguistics

      Volume: - Pages: 660-668

    • Peer Reviewed / Open Access
  • [Journal Article] Bipartite-play Dialogue Collection for Practical Automatic Evaluation of Dialogue Systems2022

    • Author(s)
      Shiki Sato, Yosuke Kishinami, Hiroaki Sugiyama, Reina Akama, Ryoko Tokuhisa, and Jun Suzuki
    • Journal Title

      Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: SRW

      Volume: - Pages: 8-16

    • Peer Reviewed / Open Access
  • [Presentation] 程度を考慮したフォーマリティ変換のためのデータセットの収集と分析2023

    • Author(s)
      守屋彰二, 岸波洋介, 佐藤志貴, 徳久良子, 乾健太郎
    • Organizer
      言語処理学会第29回年次大会
  • [Presentation] 感想付きニュース雑談対話コーパスの構築2023

    • Author(s)
      成田風香, 佐藤志貴, 赤間怜奈, 乾健太郎
    • Organizer
      言語処理学会第29回年次大会
  • [Presentation] 人間同士の雑談における話題遷移モデリング2023

    • Author(s)
      岸波洋介, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 乾健太郎
    • Organizer
      言語処理学会第29回年次大会
  • [Presentation] Follow-up 質問による矛盾応答収集の提案2023

    • Author(s)
      佐藤志貴, 赤間怜奈, 鈴木潤, 乾健太郎
    • Organizer
      言語処理学会第29回年次大会

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi