• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

対話タスク・ユーザに適したキャラクタを表現する音声対話システム

Research Project

Project/Area Number 20J22284
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionKyoto University

Principal Investigator

山本 賢太  京都大学, 情報学研究科, 特別研究員(DC1)

Project Period (FY) 2020-04-24 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2022: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2020: ¥900,000 (Direct Cost: ¥900,000)
Keywords音声対話システム / 対話ロボット / キャラクタ / パーソナリティ / 対話のふるまい
Outline of Research at the Start

音声対話システムを用いて自然な対話を実現するためには、対話の状況に合わせたキャラクタ表現が必要がある。本研究では、対話のタスクやユーザに応じたキャラクタ表現を行う音声対話システムを実現する。キャラクタの印象評定データと大規模な対話データを組み合わせた半教師あり学習を用いてキャラクタ表現モデルを構築する。さらに、対話のタスクやユーザに適したキャラクタ表現を強化学習により獲得する。

Outline of Annual Research Achievements

この研究では、対話のタスク・ユーザに適したキャラクタ表現を行う音声対話システムの構築に取り組んだ。このモデル構築のためには、対話のタスクに適切なキャラクタ表現方法とユーザが話しやすいと感じるキャラクタの表現方法を明らかにする必要がある。本研究のキャラクタとはシステムの対話におけるふるまいに一貫性を持たせることで表現される個性である。
キャラクタが対話に与える影響を分析するため対話コーパスにキャラクタ印象のアノテーションを実施した。このデータの分析結果から、キャラクタを代表的な4クラスに分類することで、話者のキャラクタの組み合わせが対話相手との相性に関する印象と関係していることを明らかにした。この関係性をモデル化するために、研究紹介と雑談という2種類の対話タスクで、対話のふるまい制御により4クラスのキャラクタを表現するモデルを構築した。このモデルを自律型アンドロイドERICAに実装し、タスク・ユーザに応じた最適なキャラクタの表現方法を調査する被験者実験を実施した。具体的には、パーソナリティ尺度であるBigFiveの評定結果を用いて被験者を4クラスに分類し、被験者のパーソナリティのクラスと音声対話システムとキャラクタとの組み合わせごとに対話に対する印象評定結果を分析した。実験結果から、研究紹介を担うシステムには外向的なキャラクタが適切であると評価された。一方で、雑談対話のような自由度の高い対話では、協調的なシステムが好まれる傾向があった。また、両対話においてユーザ自身と類似したキャラクタを表現するシステムに対しては、システムが被験者に合わせて話してくれていると感じることが確認された。
これまでの研究結果とあわせて、音声対話システムにおいてタスク・ユーザに適したキャラクタ表現が対話の満足度の向上に有効であることが示された。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (7 results)

All 2023 2022 2021 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (6 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Character expression for spoken dialogue systems with semi-supervised learning using Variational Auto-Encoder2023

    • Author(s)
      Yamamoto Kenta、Inoue Koji、Kawahara Tatsuya
    • Journal Title

      Computer Speech & Language

      Volume: 79 Pages: 101469-101469

    • DOI

      10.1016/j.csl.2022.101469

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Character adaptation of spoken dialogue systems based on user personality2023

    • Author(s)
      Kenta Yamamoto
    • Organizer
      International workshop on spoken dialogue systems
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音声対話システムによる雑談対話における キャラクタ表現に基づくユーザ適応の検討2022

    • Author(s)
      山本賢太
    • Organizer
      第96回言語・音声理解と対話処理研究会 SIG-SLUD (第13回対話システムシンポジウム)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 音声対話システムのユーザ適応に向けたパーソナリティの関係性の分析2021

    • Author(s)
      山本賢太
    • Organizer
      第93回言語・音声理解と対話処理研究会 SIG-SLUD (第12回対話システムシンポジウム)
    • Related Report
      2021 Annual Research Report
  • [Presentation] Semi-supervised learning for character expression of spoken dialogue systems2020

    • Author(s)
      Kenta Yamamoto
    • Organizer
      INTERSPEECH
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A character expression model affecting spoken dialgoue behaviors2020

    • Author(s)
      Kenta Yamamoto
    • Organizer
      International Workshop Spoken Dialgoue Systems (IWSDS)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] VAEを用いた半教師あり学習による音声対話システムのためのキャラクタ表現2020

    • Author(s)
      山本 賢太
    • Organizer
      第90回言語・音声理解と対話処理研究会 SIG-SLUD(第11回対話システムシンポジウム)
    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-07-07   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi