• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

調音運動HMMとLSPデジタルフィルタを用いた音声合成

研究課題

研究課題/領域番号 16K00234
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 知覚情報処理
研究機関東京理科大学

研究代表者

桂田 浩一  東京理科大学, 理工学部情報科学科, 准教授 (80324490)

研究分担者 新田 恒雄  早稲田大学, グリーン・コンピューティング・システム研究機構, その他(招聘研究員) (70314101)
牧野 武彦  中央大学, 経済学部, 教授 (00269482)
金澤 靖  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (50214432)
研究協力者 鏑木 時彦  
若宮 幸平  
研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2018年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2016年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード調音運動 / 音声合成 / データベース構築 / コーパス作成 / IPAラベリング / 声質変換 / LSPパラメータ / AutoEncoder / 話者変換 / 調音運動HMM
研究成果の概要

人間の発声メカニズムに近い音声合成を実現するために,発話時の舌や唇の動作に基づいた合成方法を検討してきた.期間の前半では,口唇や舌の実際の動作ではなく,それらをパラメータ化したデータから音声を合成することを試みたが,より実際の人間の動作に近い音声合成を実現するために,期間の後半では口唇や舌の動作を収録するしてデータベースを作成することに取り組んだ.収録にはEMA(Electromagnetic Articulography)と呼ばれる特殊な機器を用い,現時点で男性アナウンサー1名分の収録を終えたところである.今後は引き続き収録を進めるとともに,音声合成システムの開発に取り組んでいきたい.

研究成果の学術的意義や社会的意義

近年,深層学習等の発展により音声合成のクオリティが格段に向上している.しかし一般的な音声合成では人間の発音に関する詳細な特徴を用いていないため,人間ならではの発音の失敗や声質の変化に対応することが難しい.本研究で取り組む調音運動ベースの音声合成は人間の発声の仕組みに近い方式をとるため,こうした人間ならではの声の変化に対応できる可能性がある.こうした合成のモデルを他者の発話の認識等に用いることで,言語情報だけではなく,その背後の発声方式の変化(風邪をひいたとか,口の中が痛いとか)を認識する補助情報として利用することも考えられる.

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (15件)

すべて 2018 2017 2016

すべて 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件、 謝辞記載あり 1件) 学会発表 (14件) (うち国際学会 3件)

  • [雑誌論文] Using Reversed Sequences and Grapheme Generation Rules to Extend the Feasibility of a Phoneme Transition Network-Based Grapheme-to-Phoneme Conversion2016

    • 著者名/発表者名
      Seng Kheang, Kouichi Katsurada, Yurie Iribe and Tsuneo Nitta
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E99.D 号: 4 ページ: 1182-1192

    • DOI

      10.1587/transinf.2015EDP7349

    • NAID

      130005141390

    • ISSN
      0916-8532, 1745-1361
    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [学会発表] 発話時脳波を利用した音声言語情報の識別2018

    • 著者名/発表者名
      深井 健大郎,大村 英史,桂田 浩一,平田 里佳,入部 百合絵,新田 恒雄
    • 学会等名
      第5回サイレント音声認識ワークショップ
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Active Appearance Modelsを用いた読唇2018

    • 著者名/発表者名
      小口 優人,大村 英史,桂田 浩一
    • 学会等名
      第5回サイレント音声認識ワークショップ
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 学会報告(INTERSPEECH2018)2018

    • 著者名/発表者名
      桂田 浩一
    • 学会等名
      第5回サイレント音声認識ワークショップ
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 変分オートエンコーダーを用いた多重音解析の性能評価2018

    • 著者名/発表者名
      森口寛生,大村英史,桂田浩一
    • 学会等名
      情報処理学会第80回全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 脳波による日本語短音節の認識2018

    • 著者名/発表者名
      新田恒雄,桂田浩一,神崎卓丸
    • 学会等名
      第4回サイレント音声認識ワークショップ
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Suffix Arrayを用いた高速STDにおけるキーワード分割の最適化に関する検討2017

    • 著者名/発表者名
      桂田 浩一
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学(生田キャンパス)
    • 年月日
      2017-03-15
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 日本語音節発話・想起時の脳波解析2017

    • 著者名/発表者名
      浅原 康平,中根 丈司,神崎 卓丸,桂田 浩一,杉本 俊二,新田 恒雄,堀川 順生
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学(生田キャンパス)
    • 年月日
      2017-03-15
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 発話時と想起時の脳波による日本語短音節認識の比較2017

    • 著者名/発表者名
      神崎 卓丸,浅原 康平,中根 丈司,桂田 浩一,杉本 俊二,堀川 順生,新田 恒雄
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学(生田キャンパス)
    • 年月日
      2017-03-15
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 顔画像の対称3D-AAMによる顔方向非依存な発話認識2017

    • 著者名/発表者名
      渡辺 拓也,桂田 浩一,金澤 靖
    • 学会等名
      電子情報通信学会技術研究報告,PRMU2016-127
    • 発表場所
      京都大学
    • 年月日
      2017-01-19
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] EEG during Japanese syllable recall and speech tasks2016

    • 著者名/発表者名
      Kohei Asahara, Jozi Nakane, Takumaru Kanzaki, Shunji Sugimoto, Kouich Katsurada, Tsuneo Nitta, and Junsei Horikawa
    • 学会等名
      The 3rd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      Tahara, Japan
    • 年月日
      2016-12-10
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Japanese monosyllable recognition from EEG2016

    • 著者名/発表者名
      Takumaru Kanzaki, Shunji Sugimoto, Kouich Katsurada, Junsei Horikawa, and Tsuneo Nitta
    • 学会等名
      The 3rd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      Tahara, Japan
    • 年月日
      2016-12-10
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Lip Reading from Multi View Facial Images Using 3D-AAM2016

    • 著者名/発表者名
      Takuya Watanabe, Kouichi Katsurada, and Yasushi Kanazawa
    • 学会等名
      ACCV2016 Workshops
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2016-11-20
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 日本語単音節発話時と想起時の脳波解析2016

    • 著者名/発表者名
      浅原 康平,中根 丈司,神崎 卓丸,中澤 香太,桂田 浩一,杉本 俊二,新田 恒雄,堀川 順生
    • 学会等名
      日本音響学会2016年秋季研究発表会
    • 発表場所
      富山大学五福キャンパス
    • 年月日
      2016-09-14
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 脳波からの日本語単音節認識方式の検討2016

    • 著者名/発表者名
      神崎 卓丸,浅原 康平,中根 丈司,中澤 香太,桂田 浩一,杉本 俊二,堀川 順生,新田 恒雄
    • 学会等名
      日本音響学会2016年秋季研究発表会
    • 発表場所
      富山大学五福キャンパス
    • 年月日
      2016-09-14
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi