• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Annual Research Report

Research of Human-Kind Dialogue System with Recognition and Synthesis of Various Speech Based on State Estimation

Research Project

Project/Area Number 15H02720
Research InstitutionTohoku University

Principal Investigator

能勢 隆  東北大学, 工学研究科, 准教授 (90550591)

Co-Investigator(Kenkyū-buntansha) 伊藤 彰則  東北大学, 工学研究科, 教授 (70232428)
千葉 祐弥  東北大学, 工学研究科, 助教 (30780936)
Project Period (FY) 2015-04-01 – 2018-03-31
Keywords音声対話システム / 感情音声コーパス / 感情認識 / 感情音声認識 / 感情音声合成 / DNN音声合成 / 雑談対話 / DNN音声認識
Outline of Annual Research Achievements

本年度は以下の7項目について研究成果が得られた。1. 感情情報に基づくボトルネック特徴量を用いた対話意欲の推定に関する検討を行なった。具体的には、DNNを用いた識別器によりボトルネック特徴量を求め、これを用いることで対話意欲の推定精度が上がることを示した。2. 感情音声データベースJTESを用いた感情音声認識におけるDNN-HMM音響モデル適応の検討を行なった。具体的には感情混合モデルとしてコーパス適応を行うことにより、認識精度が改善することを示した。3. 音声対話システムにおける段階的口調付与による印象変化の検討を行なった。具体的には、口調をデスマス体から非デスマス体へと段階的に変化させることで、ユーザの対話システムの利用における対話の満足度が向上することを3日間連続した主観評価実験により示した。4. CRFによるアクセント結合推定のための素性の改善に関する検討を行なった。具体的にはこれまでに行なった改良規則を用いてCRFにおける素性の改善を行い、これによりアクセント結合後のアクセント型の推定精度が向上することを実験により示した。5. 差分特徴量に基づくDNN音声合成における音声入力による韻律制御について検討した。具体的には、音声入力によって合成音声のピッチをユーザが実現し、自分の好みの韻律を容易に実現することを可能とした。6. DNN 音声合成における複数話者データを用いた学習手法の比較を行なった。7. 相互自己開示によりユーザの印象を向上させる対話システムの検討を行なった。

Research Progress Status

29年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

29年度が最終年度であるため、記入しない。

  • Research Products

    (39 results)

All 2018 2017

All Journal Article (20 results) (of which Int'l Joint Research: 6 results,  Peer Reviewed: 7 results,  Open Access: 1 results) Presentation (19 results) (of which Int'l Joint Research: 7 results)

  • [Journal Article] 機械学習による音声比較器を利用したゼロ資源言語の音声検索2018

    • Author(s)
      伊藤 彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 25~26

    • DOI

      -

  • [Journal Article] CRFによるアクセント結合推定のための素性の改善に関する検討2018

    • Author(s)
      青山紘人, 能勢隆, 千葉祐弥, 伊藤彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 287~288

    • DOI

      -

  • [Journal Article] 差分特徴量に基づくDNN音声合成における音声入力による韻律制御2018

    • Author(s)
      花房伸哉, 能勢隆, 伊藤彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 289_290

    • DOI

      -

  • [Journal Article] 活動記録の自動生成のためのイベント遷移を考慮した日常音識別に関する検討2018

    • Author(s)
      古谷崇拓, 千葉祐弥, 長野雄, 能勢隆, 伊藤彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 71~72

    • DOI

      -

  • [Journal Article] DNN 音声合成における複数話者データを用いた学習手法の比較2018

    • Author(s)
      欧陽 江卉, 能勢 隆, 花房 伸哉, 伊藤 彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 271~274

    • DOI

      -

  • [Journal Article] DNN に基づく任意話者からの声質変換におけるVTLP と話者コードの利用2018

    • Author(s)
      ハフィヤン・プラフィアント, 井島勇祐, 能勢 隆, 伊藤彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 361~364

    • DOI

      -

  • [Journal Article] 相互自己開示によりユーザの印象を向上させる対話システムの検討2018

    • Author(s)
      多田駿介, 千葉祐弥, 能勢隆, 伊藤彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 183~184

    • DOI

      -

  • [Journal Article] 対話エージェントの段階的口調変化の有無による印象の比較と検討2018

    • Author(s)
      蔭山 友紀子, 千葉 祐弥, 能勢 隆, 伊藤 彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 181~182

    • DOI

      -

  • [Journal Article] DNN に基づく任意話者からの声質変換の雑音環境における評価2018

    • Author(s)
      宮本 颯, 能勢 隆, 千葉 祐弥, 伊藤 彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 345~346

    • DOI

      -

  • [Journal Article] 合成音声の聴取が眠気に及ぼす影響の調査~ピッチの影響の検討~2018

    • Author(s)
      チャ ジフン, 千葉祐弥, 能勢隆, 伊藤彰則
    • Journal Title

      日本音響学会2018年春季研究発表会講演論文集

      Volume: - Pages: 1391~1394

    • DOI

      -

  • [Journal Article] 統計モデルに基づく多様な音声の合成技術2017

    • Author(s)
      能勢隆
    • Journal Title

      電子情報通信学会論文誌D

      Volume: J100-D Pages: 556~569

    • DOI

      -

    • Peer Reviewed
  • [Journal Article] Dimensional paralinguistic information control based on multiple-regression HSMM for spontaneous dialogue speech synthesis with robust parameter estimation2017

    • Author(s)
      Tomohiro Nagata, Hiroki Mori, Takashi Nose
    • Journal Title

      Speech Communication

      Volume: 88 Pages: 138~148

    • DOI

      10.1016/j.specom.2017.01.002

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Collection of Example Sentences for Non-Task-Oriented Dialog Using a Spoken Dialog System and Comparison with Hand-Crafted DB2017

    • Author(s)
      Yukiko Kageyama, Yuya Chiba, Takashi Nose, Akinori Ito
    • Journal Title

      Proceedings of HCI International 2017

      Volume: - Pages: 458~563

    • DOI

      10.1007/978-3-319-58750-9_63

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] HMM-Based Photo-Realistic Talking Face Synthesis Using Facial Expression Parameter Mapping with Deep Neural Networks2017

    • Author(s)
      Kazuki Sato, Takashi Nose, Akinori Ito
    • Journal Title

      Journal of Computer and Communications

      Volume: 5 Pages: 55~65

    • DOI

      10.4236/jcc.2017.510006

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Dialog-Based Interactive Movie Recommendation: Comparison of Dialog Strategies2017

    • Author(s)
      Hayato Mori, Yuya Chiba, Takashi Nose, Akinori Ito
    • Journal Title

      Proceeding of the Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing

      Volume: - Pages: 77~83

    • DOI

      10.1007/978-3-319-63859-1_10

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Detection of singing mistakes from singing voice2017

    • Author(s)
      Isao Miyagawa, Yuya Chiba, Takashi Nose, Akinori Ito
    • Journal Title

      Proceeding of the Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing

      Volume: - Pages: 130~136

    • DOI

      10.1007/978-3-319-63859-1_17

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Evaluation of Nonlinear Tempo Modification Methods Based on Sinusoidal Modeling2017

    • Author(s)
      Kosuke Nakamura, Yuya Chiba, Takashi Nose, Akinori Ito
    • Journal Title

      Proceeding of the Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing

      Volume: - Pages: 104~111

    • DOI

      10.1007/978-3-319-63859-1_14

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 感情音声データベースJTESを用いた感情音声認識におけるDNN-HMM音響モデル適応の検討2017

    • Author(s)
      相澤 佳孝, 小坂哲夫, 加藤正治, 能勢 隆
    • Journal Title

      日本音響学会2017年秋季研究発表会講演論文集

      Volume: - Pages: 97~100

    • DOI

      -

  • [Journal Article] 音声対話システムにおける段階的口調付与による印象変化の検討2017

    • Author(s)
      蔭山友紀子, 千葉祐弥, 能勢隆, 伊藤彰則
    • Journal Title

      日本音響学会2017年秋季研究発表会講演論文集

      Volume: - Pages: 153~154

    • DOI

      -

  • [Journal Article] 感情情報に基づくボトルネック特徴量を用いた対話意欲の推定に関する検討2017

    • Author(s)
      千葉 祐弥, 能勢 隆, 伊藤 彰則
    • Journal Title

      日本音響学会2017年秋季研究発表会講演論文集

      Volume: - Pages: 115~116

    • DOI

      -

  • [Presentation] 機械学習による音声比較器を利用したゼロ資源言語の音声検索2018

    • Author(s)
      伊藤 彰則
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] CRFによるアクセント結合推定のための素性の改善に関する検討2018

    • Author(s)
      青山紘人
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] 差分特徴量に基づくDNN音声合成における音声入力による韻律制御2018

    • Author(s)
      花房伸哉
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] DNN 音声合成における複数話者データを用いた学習手法の比較2018

    • Author(s)
      欧陽 江卉
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] DNN に基づく任意話者からの声質変換におけるVTLP と話者コードの利用2018

    • Author(s)
      ハフィヤン・プラフィアント
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] 相互自己開示によりユーザの印象を向上させる対話システムの検討2018

    • Author(s)
      多田駿介
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] 対話エージェントの段階的口調変化の有無による印象の比較と検討2018

    • Author(s)
      蔭山 友紀子
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] DNN に基づく任意話者からの声質変換の雑音環境における評価2018

    • Author(s)
      宮本 颯
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] 合成音声の聴取が眠気に及ぼす影響の調査~ピッチの影響の検討~2018

    • Author(s)
      チャ ジフン
    • Organizer
      日本音響学会2018年春季研究発表会
  • [Presentation] Collection of Example Sentences for Non-Task-Oriented Dialog Using a Spoken Dialog System and Comparison with Hand-Crafted DB2017

    • Author(s)
      Yukiko Kageyama
    • Organizer
      HCI International 2017
    • Int'l Joint Research
  • [Presentation] Dialog-Based Interactive Movie Recommendation: Comparison of Dialog Strategies2017

    • Author(s)
      Hayato Mori
    • Organizer
      IIH-MSP 2017
    • Int'l Joint Research
  • [Presentation] A Study on 2D Photo-Realistic Facial Animation Generation Using 3D Facial Feature Points and Deep Neural Networks2017

    • Author(s)
      Kazuki Sato
    • Organizer
      IIH-MSP 2017
    • Int'l Joint Research
  • [Presentation] Voice Conversion from Arbitrary Speakers Based on Deep Neural Networks with Adversarial Learning2017

    • Author(s)
      Sou Miyamoto
    • Organizer
      IIH-MSP 2017
    • Int'l Joint Research
  • [Presentation] Response Selection of Interview-Based Dialog System Using User Focus and Semantic Orientation2017

    • Author(s)
      Shunsuke Tada
    • Organizer
      IIH-MSP 2017
    • Int'l Joint Research
  • [Presentation] Development and Evaluation of Julius-Compatible Interface for Kaldi ASR2017

    • Author(s)
      Yusuke Yamada
    • Organizer
      IIH-MSP 2017
    • Int'l Joint Research
  • [Presentation] 感情音声データベースJTESを用いた感情音声認識におけるDNN-HMM音響モデル適応の検討2017

    • Author(s)
      相澤 佳孝
    • Organizer
      日本音響学会2017年秋季研究発表会
  • [Presentation] 音声対話システムにおける段階的口調付与による印象変化の検討2017

    • Author(s)
      蔭山友紀子
    • Organizer
      日本音響学会2017年秋季研究発表会
  • [Presentation] 感情情報に基づくボトルネック特徴量を用いた対話意欲の推定に関する検討2017

    • Author(s)
      千葉 祐弥
    • Organizer
      日本音響学会2017年秋季研究発表会
  • [Presentation] Analysis of Efficient Multimodal Features for Estimating User’s Willingness to Talk: Comparison of Human-Machine and Human-Human Dialog2017

    • Author(s)
      Yuya Chiba
    • Organizer
      APSIPA ASC 2017
    • Int'l Joint Research

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi