• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

対話理解および発話生成と連動するターンテイキングシステム

研究課題

研究課題/領域番号 20K19821
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関京都大学

研究代表者

井上 昂治  京都大学, 情報学研究科, 助教 (10838684)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワード音声対話システム / 会話ロボット / ターンテイキング / 発話権取得 / 話者交替 / 対話 / 意図理解 / 多人数対話 / 笑い / 言語理解 / 応答生成 / 対話理解
研究開始時の研究の概要

音声対話システムにおいてユーザの発話終了を検出するターンテイキング予測は、円滑な対話を実現するための重要な機能である。従来のターンテイキングの予測モデルは先行するユーザ発話の情報のみを扱っていたが、人間どうしの会話ではより多面的な情報が考慮されているといえる。そこで、従来の音声対話システムでは独立に動作していた対話理解と発話生成のモジュールに関して、これらの動作と連動してターンテイキングを予測するシステムを提案する。さらに、これら複数のモジュールのモデルを同時に学習する統合的なモデルの構築にも取り組む。また、提案する予測モデルを音声対話システムへ搭載して、被験者実験によりその有用性を確認する。

研究成果の概要

音声対話システムにおけるターンテイキング(発話権取得)の新たなモデルを実現した。人間どうしのターンテイキングに倣い、対話データセット中の各発話の「意図」と「内容」が理解可能か否かをアノテーションした。そして、はじめに「意図」または「内容」が理解可能かを判定し、その結果に基づいて発話権を取得するか否かを判定する2段階のターンテイキング予測モデルを構築した。加えて、音声対話システムの基礎的な機能として、同調笑いの生成についても取り組んだ。笑いの検出、同調笑いの予測、笑いの種類の選択という3つのモデルで構成されるシステムを提案し、その有効性を確認した。

研究成果の学術的意義や社会的意義

音声対話システムは、会話ロボットやスマートスピーカに展開されている。しかし、これらのシステムによるやりとりは機械的であると言わざるを得ない。その要因の一つとしてターンテイキングが挙げられる。現在のシステムでは、発話権を取得するに際して、不自然に長い間や割り込みが生じることが多く、これにより対話の円滑さを低下させている。その一方で、人間どうしの対話では、特に意識することなく、円滑なターンテイキングが実現されている。本研究により、人間どうしのターンテイキングのメカニズムの解明に向けて、構成論的な一つのアプローチを示すことができた。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (13件)

すべて 2022 2021 2020

すべて 雑誌論文 (4件) (うち国際共著 1件、 査読あり 3件、 オープンアクセス 4件) 学会発表 (9件) (うち国際学会 3件、 招待講演 1件)

  • [雑誌論文] Can a robot laugh with you?: Shared laughter generation for empathetic spoken dialogue2022

    • 著者名/発表者名
      Inoue Koji、Lala Divesh、Kawahara Tatsuya
    • 雑誌名

      Frontiers in Robotics and AI

      巻: 9 ページ: 1-11

    • DOI

      10.3389/frobt.2022.933261

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] アンドロイドERICAの傾聴対話システム–人間による傾聴との比較評価–2021

    • 著者名/発表者名
      井上昂治・ララディベッシュ・山本賢太・中村静・高梨克也・河原達也
    • 雑誌名

      人工知能学会論文誌

      巻: 36 号: 5 ページ: H-L51_1-12

    • DOI

      10.1527/tjsai.36-5_H-L51

    • NAID

      130008082579

    • ISSN
      1346-0714, 1346-8030
    • 年月日
      2021-09-01
    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] アンドロイドを用いた音声対話研究2020

    • 著者名/発表者名
      井上 昂治、河原 達也
    • 雑誌名

      日本音響学会誌

      巻: 76 号: 4 ページ: 236-243

    • DOI

      10.20697/jasj.76.4_236

    • NAID

      130007920190

    • ISSN
      0369-4232, 2432-2040
    • 年月日
      2020-04-01
    • 関連する報告書
      2020 実施状況報告書
    • オープンアクセス
  • [雑誌論文] 掘り下げ質問を行う就職面接対話システムの自律型アンドロイドでの実装と評価2020

    • 著者名/発表者名
      井上昂治・原康平・ララ ディベッシュ・山本賢太・中村静・高梨克也・河原達也
    • 雑誌名

      人工知能学会論文誌

      巻: 35(5) 号: 5 ページ: 1-10

    • DOI

      10.1527/tjsai.35-5_d-k43

    • NAID

      130007895047

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] A multi-party attentive listening robot which stimulates involvement from side participants2021

    • 著者名/発表者名
      Koji Inoue, Hiromi Sakamoto, Kenta Yamamoto, Divesh Lala, Tatsuya Kawahara
    • 学会等名
      SIGdial Meeting on Discourse and Dialogue (SIGDIAL)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 共感を表出する音声対話システムのための共有笑い生成2021

    • 著者名/発表者名
      井上昂治, Lala Divesh, 河原達也
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] アンドロイドERICAの音声対話システム~マルチモーダルチューリングテストへの挑戦~2021

    • 著者名/発表者名
      井上昂治
    • 学会等名
      音学シンポジウム2021
    • 関連する報告書
      2021 実施状況報告書
    • 招待講演
  • [学会発表] ヒューマンロボットインタラクションのための相槌・笑いのリアルタイム検出2021

    • 著者名/発表者名
      井上昂治, Lala Divesh, 河原達也
    • 学会等名
      日本音響学会2021年春季研究発表会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ヒューマンロボットインタラクションにおける音響特徴に基づく共有笑いの予測2021

    • 著者名/発表者名
      井上昂治, Lala Divesh, 河原達也
    • 学会等名
      日本音響学会2021年春季研究発表会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Job interviewer android with elaborate follow-up question generation2020

    • 著者名/発表者名
      Koji Inoue, Kohei Hara, Divesh Lala, Kenta Yamamoto, Shizuka Nakamura, Katsuya Takanashi, Tatsuya Kawahara
    • 学会等名
      International Conference on Multimodal Interaction (ICMI)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions2020

    • 著者名/発表者名
      Koji Inoue, Divesh Lala, Kenta Yamamoto, Shizuka Nakamura, Katsuya Takanashi, Tatsuya Kawahara
    • 学会等名
      SIGdial Meeting on Discourse and Dialogue (SIGDIAL)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] アンドロイドERICAの傾聴対話システムにおけるWOZとの比較評価2020

    • 著者名/発表者名
      井上昂治, Lala Divesh, 山本賢太, 中村静, 高梨克也, 河原達也
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会 (SIG-SLUD)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] WOZとの比較による自律型アンドロイドERICAの傾聴対話システムの評価2020

    • 著者名/発表者名
      井上昂治, Lala Divesh, 山本賢太, 中村静, 高梨克也, 河原達也
    • 学会等名
      日本音響学会2020年秋季研究発表会
    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi