• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

A turn-taking system linked with dialogue understanding and utterance generation

Research Project

Project/Area Number 20K19821
Research InstitutionKyoto University

Principal Investigator

井上 昂治  京都大学, 情報学研究科, 助教 (10838684)

Project Period (FY) 2020-04-01 – 2023-03-31
Keywordsターンテイキング / 音声対話システム / 会話ロボット / 言語理解 / 応答生成
Outline of Annual Research Achievements

まず、提案するターンテイキングシステムを実証するための音声対話システムの構築に取り組んだ。具体的には、傾聴、就職面接、研究室紹介、初対面対話のシステムを実装した。これらのシステムにおいて、従来のターンテイキング機能を実装した。従来の機能は2つで、固定時間ユーザが沈黙した場合にターンを取得するタイムアウト方式と、ユーザ発話の言語情報からターンが終了する確率を予測し、それを基にタイムアウトの時間を毎回決定する方法である。これらのシステムが上記のいずれのタスクにおいても実時間で動作することを確認した。さらに、提案するターンテイキングシステムの初期検討として、簡単な言語理解に基づいて上記の2つの方式を使い分ける方法も実装した。これにより被験者との対話実験において、特に就職面接でのターンテイキングが頑健になることを確認した。
続いて、本研究で提案するターンテイキングシステムについては、(1)データセットの整備と(2)アノテーション方法の検討を進めた。(1)データセットについては、合計100対話以上の対話データを整備し、言語情報だけでなく韻律情報を使用できるようにした。また、これらのデータを用いて、前述のターン終了予測モデルの学習を行った。(2)アノテーション方法については、言語理解に関する様々なアノテーションデータを精査し、ターンテイキングとの相関を調査した。この結果に基づき、ターンテイキングの事象の要因についてアノテーション方法を検討した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

提案するターンテイキングシステムを実証するための音声対話システムが構築され、実時間で動作しているため。アノテーションについても、ターンテイキングと関連すると思わる言語理解に関する分析が進んでいるため。

Strategy for Future Research Activity

今後は、これまでに実施した分析に基づきターンテイキングの要因に関するアノテーション方法を確立および実施する。また、アノテーションデータを用いて言語理解や応答生成に基づくターンテイキングシステムを学習する。最終的には、これまでに実装した音声対話システム上へ実装し、提案するターンテイキングの有効性を検証する。

Causes of Carryover

対話データのアノテーションを次年度に実施するため。このアノテーションでは、複数人のアノテータに長期間に渡り作業を実施してもらう。その過程で、作業用コンピュータやデータ保存のためのファイルサーバを導入する。

  • Research Products

    (8 results)

All 2021 2020

All Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 2 results) Presentation (6 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] 掘り下げ質問を行う就職面接対話システムの自律型アンドロイドでの実装と評価2020

    • Author(s)
      井上 昂治, 原 康平, ララ ディベッシュ, 中村 静, 高梨 克也, 河原 達也
    • Journal Title

      人工知能学会論文誌

      Volume: 35 Pages: D~K43_1-10

    • DOI

      10.1527/tjsai.35-5_D-K43

    • Peer Reviewed / Open Access
  • [Journal Article] アンドロイドを用いた音声対話研究2020

    • Author(s)
      井上 昂治、河原 達也
    • Journal Title

      日本音響学会誌

      Volume: 76 Pages: 236~243

    • DOI

      10.20697/jasj.76.4_236

    • Open Access
  • [Presentation] ヒューマンロボットインタラクションのための相槌・笑いのリアルタイム検出2021

    • Author(s)
      井上昂治, Lala Divesh, 河原達也
    • Organizer
      日本音響学会2021年春季研究発表会
  • [Presentation] ヒューマンロボットインタラクションにおける音響特徴に基づく共有笑いの予測2021

    • Author(s)
      井上昂治, Lala Divesh, 河原達也
    • Organizer
      日本音響学会2021年春季研究発表会
  • [Presentation] Job interviewer android with elaborate follow-up question generation2020

    • Author(s)
      Koji Inoue, Kohei Hara, Divesh Lala, Kenta Yamamoto, Shizuka Nakamura, Katsuya Takanashi, Tatsuya Kawahara
    • Organizer
      International Conference on Multimodal Interaction (ICMI)
    • Int'l Joint Research
  • [Presentation] An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions2020

    • Author(s)
      Koji Inoue, Divesh Lala, Kenta Yamamoto, Shizuka Nakamura, Katsuya Takanashi, Tatsuya Kawahara
    • Organizer
      SIGdial Meeting on Discourse and Dialogue (SIGDIAL)
    • Int'l Joint Research
  • [Presentation] アンドロイドERICAの傾聴対話システムにおけるWOZとの比較評価2020

    • Author(s)
      井上昂治, Lala Divesh, 山本賢太, 中村静, 高梨克也, 河原達也
    • Organizer
      人工知能学会 言語・音声理解と対話処理研究会 (SIG-SLUD)
  • [Presentation] WOZとの比較による自律型アンドロイドERICAの傾聴対話システムの評価2020

    • Author(s)
      井上昂治, Lala Divesh, 山本賢太, 中村静, 高梨克也, 河原達也
    • Organizer
      日本音響学会2020年秋季研究発表会

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi