• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

A turn-taking system linked with dialogue understanding and utterance generation

Research Project

Project/Area Number 20K19821
Research InstitutionKyoto University

Principal Investigator

井上 昂治  京都大学, 情報学研究科, 助教 (10838684)

Project Period (FY) 2020-04-01 – 2023-03-31
Keywordsターンテイキング / 音声対話システム / 会話ロボット / 言語理解 / 応答生成
Outline of Annual Research Achievements

本年度は、提案するターンテイキングシステムのモデルを学習するためのデータセット構築に主に取り組んだ。具体的には、初対面会話データにおいて、発話の「意図」と「内容」が理解可能か否かを各発話に対してアノテーションした。「意図」はその発話の対話行為(dialog act)がその時点で理解することができるか否か、という判断基準を設けた。対話行為とは「質問」「回答」「言明」などのような発話の種類を表すものである。「内容」はその時点でその次の発話を生成することが可能か否かを判断基準とした。使用した対話データは50対話分で、ターンテイキングのふるまいとの関係性を調査した。
加えて、提案するターンテイキングシステムの性能を評価するための音声対話システムの構築および改善にも取り組んだ。ここでは傾聴対話システムを対象として、その評価や多人数対話への拡張を行った。評価では人間による傾聴との比較を実施した。多人数対話ではターンテイキングが必要となるタイミングやそのときのふるまいについて、システム実装および被験者実験を実施した。また、システムの笑いの生成についても検討した。
さらに、ターンテイキングシステムの頑健性を評価するために、上記の初対面会話とは異なる種類の対話データの収録も実施した。ここでは傾聴対話を題材として、約8分の対話を70対話収録した。収録した対話データに対して、前述のターンテイキングのアノテーションを検討している。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

目的とするターンテイキングシステムを実現するためのアノテーションの方法を確立し、一定規模のデータセットでのアノテーション作業が進展しているため。また、提案するシステムを評価するための音声対話システムについても、複数のタスクを対象として実装が進んでいるため。

Strategy for Future Research Activity

現在までに実施しているアノテーションデータを用いて、提案するターンテイキングシステムのモデルを構築する。最終的には、従来のターンテイキングシステムよりも予測精度が向上し、既存の音声対話システムへ搭載する。また、現在扱っている初対面会話以外の対話タスクについても、アノテーションを実施することでその有効性を確認する。

Causes of Carryover

新型コロナウイルスの感染拡大により対話収録および被験者実験を一部見送ったため。本件については次年度で実施する予定である。

  • Research Products

    (4 results)

All 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (3 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results)

  • [Journal Article] アンドロイドERICAの傾聴対話システム--人間による傾聴との比較評価--2021

    • Author(s)
      井上 昂治, ラーラー ディベッシュ, 山本 賢太, 中村 静, 高梨 克也, 河原 達也
    • Journal Title

      人工知能学会論文誌

      Volume: 36 Pages: H~L51_1-12

    • DOI

      10.1527/tjsai.36-5_H-L51

    • Peer Reviewed / Open Access
  • [Presentation] A multi-party attentive listening robot which stimulates involvement from side participants2021

    • Author(s)
      Koji Inoue, Hiromi Sakamoto, Kenta Yamamoto, Divesh Lala, Tatsuya Kawahara
    • Organizer
      SIGdial Meeting on Discourse and Dialogue (SIGDIAL)
    • Int'l Joint Research
  • [Presentation] 共感を表出する音声対話システムのための共有笑い生成2021

    • Author(s)
      井上昂治, Lala Divesh, 河原達也
    • Organizer
      人工知能学会 言語・音声理解と対話処理研究会
  • [Presentation] アンドロイドERICAの音声対話システム~マルチモーダルチューリングテストへの挑戦~2021

    • Author(s)
      井上昂治
    • Organizer
      音学シンポジウム2021
    • Invited

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi