• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

スムーズな対話のための対話テンポのリアルタイム制御に基づく音声対話システム

研究課題

研究課題/領域番号 19K04311
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分20020:ロボティクスおよび知能機械システム関連
研究機関徳島大学

研究代表者

西村 良太  徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (50635878)

研究分担者 山本 一公  中部大学, 工学部, 教授 (40324230)
西崎 博光  山梨大学, 大学院総合研究部, 教授 (40362082)
研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2019年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード音声対話システム / タイミング / テンポ / 音声言語情報処理 / 深層学習 / 音声認識 / リアルタイム制御 / ROS / 対話テンポ / 自然な対話
研究開始時の研究の概要

本研究は,これからの進んだ人工知能,ロボット,IoTの広く普及する社会で,人間とシステムがより円滑にコミュニケーションを図るために必須となる,対話のテンポの改善を目指すものである.このために,本研究ではテンポの制御が可能な音声対話システムを設計・構築し,テンポ制御モデルを構築する.人間同士の対話を正解データとして用い,機械学習によりテンポ生成モデルを構築し,これを音声対話システムに導入する.これまでに,円滑な対話を実現したシステムは前例が無く,研究としても意義がある.
本研究の成果によって,ストレスのない対話が可能な音声対話システムを,既存ロボットシステムなどに簡単に導入することが可能となる.

研究成果の概要

本研究では,「リアルタイム制御可能な音声対話システムの構築」を行った.本システムはROSのアーキテクチャを採用しており,システム開発時の通信管理やデバッグを効率的に行えるようにした.
またこのシステム内で用いるための応答タイミング制御モジュールである「相槌タイミング制御モジュール」の構築を行った.リアルタイム動作を実現させるために,単純な音響的情報のみを用いている.モデル構成も単純なLSTMのモデルとした.このモデルで,相槌タイミングをF値0.933という高精度で生成することが可能である.
また,これらについてオープンソースとしてgithubで公開し,広く一般に利用可能とした.

研究成果の学術的意義や社会的意義

最近のChatGPTなどの大規模言語モデルの高精度化に伴い,音声対話システムに対しても,より高精度で自然な対話が期待され始めた.そして,自然に対話を行うためには対話のテンポが非常に重要であるものの,これまでの音声対話システムでは,設計上の問題で実現不可能であった.
本研究の成果により,この問題が解決され,リアルタイムに制御が可能な音声対話システムを開発・動作させることが可能となる.高速に動作可能な相槌応答タイミング生成モデルも構築し,本システムに搭載したことから,音声対話システム開発者は,応答内容やその他の部分に注力してシステム開発することで,自然な音声対話システムを実現できる.

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (28件)

すべて 2023 2022 2021 2020 2019 その他

すべて 雑誌論文 (6件) (うち査読あり 5件、 オープンアクセス 5件) 学会発表 (21件) (うち国際学会 4件) 備考 (1件)

  • [雑誌論文] A new speech corpus of super-elderly Japanese for acoustic modeling2023

    • 著者名/発表者名
      Fukuda Meiko、Nishimura Ryota、Nishizaki Hiromitsu、Horii Koharu、Iribe Yurie、Yamamoto Kazumasa、Kitaoka Norihide
    • 雑誌名

      Computer Speech & Language

      巻: 77 ページ: 101424-101424

    • DOI

      10.1016/j.csl.2022.101424

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 音声対話システムのための自由発話に対応した照応解析による入力発話への話題補完手法2022

    • 著者名/発表者名
      Nishimura Ryota、Mori Raita、Ohta Kengo、Kitaoka Norihide
    • 雑誌名

      人工知能学会論文誌

      巻: 37 号: 3 ページ: IDS-F_1-13

    • DOI

      10.1527/tjsai.37-3_IDS-F

    • ISSN
      1346-0714, 1346-8030
    • 年月日
      2022-05-01
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] フォトリアルCGエージェントとのマルチモーダル対話2022

    • 著者名/発表者名
      北岡 教英、西村 良太、太田 健吾
    • 雑誌名

      日本音響学会誌

      巻: 78 号: 5 ページ: 257-264

    • DOI

      10.20697/jasj.78.5_257

    • ISSN
      0369-4232, 2432-2040
    • 年月日
      2022-05-01
    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] Response type selection for chat-like spoken dialog systems based on LSTM and multi-task learning2021

    • 著者名/発表者名
      Ohta Kengo、Nishimura Ryota、Kitaoka Norihide
    • 雑誌名

      Speech Communication

      巻: 133 ページ: 23-30

    • DOI

      10.1016/j.specom.2021.07.003

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Example Phrase Adaptation Method for Customized, Example-Based Dialog System Using User Data and Distributed Word Representations2020

    • 著者名/発表者名
      KITAOKA Norihide、SETO Eichi、NISHIMURA Ryota
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E103.D 号: 11 ページ: 2332-2339

    • DOI

      10.1587/transinf.2020EDP7066

    • NAID

      130007933882

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2020-11-01
    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [雑誌論文] End-to-end recognition of streaming Japanese speech using CTC and local attention2020

    • 著者名/発表者名
      Chen Jiahao、Nishimura Ryota、Kitaoka Norihide
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 9 号: 1 ページ: 1-7

    • DOI

      10.1017/atsip.2020.23

    • NAID

      120007045056

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 割り込み発話にも対応可能なリアルタイム話者交替システム2023

    • 著者名/発表者名
      杉山雅和, 太田健吾, 西村良太, 北岡教英
    • 学会等名
      日本音響学会講論集(2023春)(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 深層学習による口唇情報を用いた雑音下での音声認識精度の改善2023

    • 著者名/発表者名
      伊達龍斗, 太田健吾, 西村良太, 北岡教英
    • 学会等名
      日本音響学会講論集(2023春)(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 自発的発話認識のためのBERTによる非流暢文生成に基づく言語モデリング2023

    • 著者名/発表者名
      堀井こはる, 太田健吾, 西村良太, 小川厚徳, 北岡教英
    • 学会等名
      日本音響学会講論集(2023春)(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] A Corpus-based Analysis of Age-related Changes in the Acoustic Features of Elderly to Super Elderly Speech2022

    • 著者名/発表者名
      Fukuda, M., Sugiyama, M., Nishimura, R., Kitaoka, N
    • 学会等名
      The O-COCOSDA 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] EMOtive A.I. "Saya"2022

    • 著者名/発表者名
      大須賀晋, 田中五大, 鍋倉彩那, 中野涼太, 渡邊凌太, 石川友香, 石川晃之, 中村晃一, 藤井裕也, 堀内颯太, 東中竜一郎, 西村良太, 太田健吾, 北岡教英
    • 学会等名
      人工知能学会研究会資料 言語・音声理解と対話処理研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] BERT による雑談対話話題拡張2022

    • 著者名/発表者名
      福村考洋, 西村良太, 北岡教英
    • 学会等名
      令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 音声対話システムにおける対話破綻検出器の構築2022

    • 著者名/発表者名
      鳥井章宏, 西村良太, 北岡教英
    • 学会等名
      令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 超高齢者コーパスとS-JNAS を用いた高齢者音声の音響的特徴の分析2022

    • 著者名/発表者名
      福田芽衣子, 杉山雅和, 西村良太, 入部百合絵, 山本一公, 北岡教英
    • 学会等名
      日本音響学会講論集(2022年秋)(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ドメイン外音響情報で補強した Encoder-Decoder 音声認識モデルの設計2022

    • 著者名/発表者名
      森大輝, 太田健吾, 西村良太, 北岡教英
    • 学会等名
      日本音響学会講論集(2022年秋)(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] End-to-End 非流暢整形音声認識システムの対話音声による評価2022

    • 著者名/発表者名
      堀井こはる, 福田芽衣子, 太田健吾, 西村良太, 小川厚徳, 北岡教英
    • 学会等名
      日本音響学会講論集(2022年秋)(Web会議)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Advanced language model fusion method for encoder-decoder model in Japanese speech recognition2021

    • 著者名/発表者名
      Mori Daiki、Ohta Kengo、Ryota Nishimura、Ogawa Atsunori、Norihide Kitaoka
    • 学会等名
      APSIPA Annual Summit and Conference 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] End-to-End Spontaneous Speech Recognition Using Hesitation Labeling2021

    • 著者名/発表者名
      Horii Koharu、Meiko Fukuda、Ohta Kengo、Ryota Nishimura、Ogawa Atsunori、Norihide Kitaoka
    • 学会等名
      APSIPA Annual Summit and Conference 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] ROSを利用したリアルタイム制御が可能な音声対話システムの構築2021

    • 著者名/発表者名
      西村 良太、森 貴大、北岡 教英
    • 学会等名
      日本音響学会研究発表会講演論文集
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] タスク外音響情報を付加した End-to-End 音声認識モデルの設計2021

    • 著者名/発表者名
      森 大輝、太田 健吾、西村 良太、小川 厚徳、北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 非流暢ラベルを用いた言い淀み整形End-to-End音声認識2021

    • 著者名/発表者名
      堀井 こはる、福田 芽衣子、太田 健吾、西村 良太、小川 厚徳、北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] アクセント句を考慮した日本語End-to-End音声合成サーバの構築2021

    • 著者名/発表者名
      太田健吾、西村良太、北岡教英
    • 学会等名
      日本音響学会講論集(2021年春)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] E2E Streaming Speech Recognition Using CTC and Local Attention2020

    • 著者名/発表者名
      Chen Jiahao、Nishimura Ryota、Kitaoka Norihide
    • 学会等名
      Nonlinear Circuits, Communications and Signal Processing 2020 (NCSP'20)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 自由発話に対応した照応解析を備えた音声対話システム2020

    • 著者名/発表者名
      森雷太, 西村良太, 北岡教英
    • 学会等名
      日本音響学会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 書き言葉から話し言葉へのテキスト変換を用いた話し言葉音声認識用言語モデルの評価2020

    • 著者名/発表者名
      小橋優矢, 西村良太, 北岡教英
    • 学会等名
      日本音響学会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Uni-directional LSTMとLocal Attentionを用いたストリーミング音声認識2020

    • 著者名/発表者名
      陳家浩, 西村良太, 北岡教英
    • 学会等名
      日本音響学会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Sequence-to-Sequence modelを用いた話し言葉音声認識用言語モデルのための書き言葉から話し言葉へのテキスト変換2019

    • 著者名/発表者名
      小橋優矢, 西村良太, 北岡教英
    • 学会等名
      日本音響学会
    • 関連する報告書
      2019 実施状況報告書
  • [備考] DiaROS

    • URL

      https://github.com/kitaoka-lab/DiaROS

    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2019-04-18   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi