• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

構音障がい者のための声質変換

研究課題

研究課題/領域番号 14J04514
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
研究分野 知覚情報処理
研究機関神戸大学

研究代表者

相原 龍  神戸大学, システム情報学研究科, 特別研究員(DC1)

研究期間 (年度) 2014-04-25 – 2017-03-31
研究課題ステータス 完了 (2016年度)
配分額 *注記
2,800千円 (直接経費: 2,800千円)
2016年度: 900千円 (直接経費: 900千円)
2015年度: 900千円 (直接経費: 900千円)
2014年度: 1,000千円 (直接経費: 1,000千円)
キーワード声質変換 / 障がい者支援 / 識別学習 / 発話リズム / Duration / 構音障がい / 脳性麻痺 / アテトーゼ現象 / 不特定話者 / 発話支援 / 障がい者福祉
研究実績の概要

声質変換は,ある話者の声をあたかも別人が発話しているかのように変換する技術である.アテトーゼ型脳性麻痺による構音障がい者の不明瞭な発話を,この声質変換技術を用いて聞き取りやすく変換することが本研究の目標である.声質変換技術はテキスト認識を行わない,音声から音声へ変換するシステムであるため,手足の動きが不自由な発話障がい者にとっても使いやすい技術であると考えられる.本年度は,声質変換精度の向上を目標として,「識別的学習」と「発話リズム変換」の2つのタスクに取り組んだ.
構音障がい者発話が不明瞭になる原因として,音素の曖昧性が指摘されている.音素は音声において分割可能な最小単位とされている.構音障がい者は,口や舌など発話する機構が不自由であるため,健常者と比較して発話が曖昧になりやすい.提案手法では,これまで我々が研究してきた,構音障がい者の声質変換で用いられてきたアルゴリズムに,音素を識別するモデルを導入し,発話が明瞭に変換されるよう改良を加えた.この研究成果は,音声信号処理において世界最大級の国際学会INTERSPEECH2016において発表された.
構音障害がい者の発話の特徴として,発話が不自然に間延びするという点がある.健常者の発話リズムは基本的に一定であるのに対して,障がい者の発話リズムは,その前後の音素の関係や発話者の体調によって大きく変化する.この発話リズムの変動が,障がい者の発話を聞き取りにくくする原因の一つとなっていた.発話リズムの変換はこれまで例が少なく,特に声質変換システムにおいて,発話リズムは入力話者のものをそのまま用いることがほとんどであった.そのため,発話リズムを変換する新たな特徴量を提案し,リズムを健常者に近づけることに成功した.これらの研究成果は日本音響学会ならびに電子情報通信学会で発表され,現在,INTERSPEECH2017に投稿中である.

現在までの達成度 (段落)

28年度が最終年度であるため、記入しない。

今後の研究の推進方策

28年度が最終年度であるため、記入しない。

報告書

(3件)
  • 2016 実績報告書
  • 2015 実績報告書
  • 2014 実績報告書
  • 研究成果

    (45件)

すべて 2017 2016 2015 2014

すべて 雑誌論文 (10件) (うち査読あり 8件、 オープンアクセス 2件) 学会発表 (34件) (うち国際学会 10件) 図書 (1件)

  • [雑誌論文] Multiple Non-negative Matrix Factorization for Many-to-many Voice Conversion2016

    • 著者名/発表者名
      Ryo Aihara, Testuya Takiguchi, Yasuo Ariki
    • 雑誌名

      EEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 24 号: 7 ページ: 1175-1184

    • DOI

      10.1109/taslp.2016.2522643

    • 関連する報告書
      2016 実績報告書
    • 査読あり
  • [雑誌論文] Multiple Non-negative Matrix Factorization for Many-to-many Voice Conversion2016

    • 著者名/発表者名
      Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki
    • 雑誌名

      IEEE/ACM Trans. on Audio, Speech, and Language Processing

      巻: PP ページ: 1-10

    • 関連する報告書
      2015 実績報告書
    • 査読あり
  • [雑誌論文] Individuality-Preserving Voice Conversion for Articulation Disorders Using Phoneme-Categorized Exemplars2015

    • 著者名/発表者名
      Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki
    • 雑誌名

      ACM Trans. on Accessible Computing; Special Issue on Speech and Language Processing for AT

      巻: 6

    • 関連する報告書
      2015 実績報告書
    • 査読あり
  • [雑誌論文] Audio-Visual Speech Recognition Using Convolutive Bottleneck Networks for a Person with Severe Hearing Loss2015

    • 著者名/発表者名
      Yuki Takashima, Yasuhiro Kakihara, Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki, Nobuyuki Mitani, Kiyohiro Omori, Kaoru Nakazono
    • 雑誌名

      IPSJ Trans. on Computer Vision and Applications

      巻: 7 ページ: 64-68

    • 関連する報告書
      2015 実績報告書
    • 査読あり
  • [雑誌論文] Multimodal voice conversion based on non-negative matrix factorization2015

    • 著者名/発表者名
      Kenta Masaka, Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2015:24 号: 1 ページ: 1-9

    • DOI

      10.1186/s13636-015-0067-4

    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Small-parallel exemplar-based voice conversion in noisy environments using affine non-negative matrix factorization2015

    • 著者名/発表者名
      Ryo Aihara, Takao Fujii, Toru Nakashika, Tetsuya Takiguchi, Yasuo Ariki
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2015:32 号: 1 ページ: 1-9

    • DOI

      10.1186/s13636-015-0075-4

    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Individuality-preserving Voice Conversion for Articulation Disorders Using Phoneme-categorized Exemplars2015

    • 著者名/発表者名
      Ryo Aihara, Tetsuya Takiguchi and Yasuo Ariki
    • 雑誌名

      Transactions on Accessible Computing

      巻: 未定

    • 関連する報告書
      2014 実績報告書
    • 査読あり
  • [雑誌論文] Noise-Robust Voice Conversion Based on Sparse Spectral Mapping Using Non-negative Matrix Factorization2014

    • 著者名/発表者名
      Ryo Aihara, Ryoichi Takashima, Tetsuya Takiguchi and Yasuo Ariki
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E97-D ページ: 1411-1418

    • 関連する報告書
      2014 実績報告書
    • 査読あり
  • [雑誌論文] スパース辞書学習による構音障害者の話者性を維持した声質変換2014

    • 著者名/発表者名
      相原 龍,滝口哲也,有木康雄
    • 雑誌名

      電子情報通信学会技術研究報告

      巻: 91 ページ: 39-44

    • NAID

      40020156739

    • 関連する報告書
      2014 実績報告書
  • [雑誌論文] Multiple Non-negative Matrix Factorization を用いた多対一声質変換2014

    • 著者名/発表者名
      相原龍, 滝口哲也, 有木康雄
    • 雑誌名

      電子情報通信学会技術研究報告

      巻: 114 ページ: 75-80

    • NAID

      110009850921

    • 関連する報告書
      2014 実績報告書
  • [学会発表] isual-to-Speech Conversion Based on Maximum Likelihood Estimation2017

    • 著者名/発表者名
      羅里奈
    • 学会等名
      MVA2017, The Fifteenth IAPR International Conference on Machine Vision Applications
    • 発表場所
      Nagoya University, Nagoya, Japan
    • 年月日
      2017-05-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] 声質変換のための音素識別的特徴量2017

    • 著者名/発表者名
      相原龍
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学,神奈川,日本
    • 年月日
      2017-03-09
    • 関連する報告書
      2016 実績報告書
  • [学会発表] 最尤変換における唇動画像からの音声生成2017

    • 著者名/発表者名
      羅里奈
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学,神奈川,日本
    • 年月日
      2017-03-09
    • 関連する報告書
      2016 実績報告書
  • [学会発表] 構音障害者のためのDurationを含んだ統計的声質変換2017

    • 著者名/発表者名
      相原龍
    • 学会等名
      電子情報通信学会音声研究会(SP)
    • 発表場所
      沖縄産業支援センター,沖縄,日本
    • 年月日
      2017-03-01
    • 関連する報告書
      2016 実績報告書
  • [学会発表] 非負値行列因子分解に基づく声質変換のための Graph Embedding を用いたパラレル辞書学習2016

    • 著者名/発表者名
      相原龍
    • 学会等名
      日本音響学会2016年秋季研究発表会
    • 発表場所
      富山大学,富山,日本
    • 年月日
      2016-09-14
    • 関連する報告書
      2016 実績報告書
  • [学会発表] 複素NMFを用いた声質変換の検討2016

    • 著者名/発表者名
      李権俊
    • 学会等名
      日本音響学会2016年秋季研究発表会
    • 発表場所
      富山大学,富山,日本
    • 年月日
      2016-09-14
    • 関連する報告書
      2016 実績報告書
  • [学会発表] 非負値行列因子分解を用いたマルチモーダル声質変換における画像特徴量の検討2016

    • 著者名/発表者名
      羅里奈
    • 学会等名
      日本音響学会2016年秋季研究発表会
    • 発表場所
      富山大学,富山,日本
    • 年月日
      2016-09-14
    • 関連する報告書
      2016 実績報告書
  • [学会発表] Parallel Dictionary Learning for Voice Conversion Using Discriminative Graph-embedded Non-negative Matrix Factorization2016

    • 著者名/発表者名
      相原龍
    • 学会等名
      INTERSPEECH2016
    • 発表場所
      Hyatt Regency, San Francisco, USA
    • 年月日
      2016-09-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Audio-Visual Speech Recognition Using Bimodal-Trained Bottleneck Features for a Person with Severe Hearing Loss2016

    • 著者名/発表者名
      高島悠樹
    • 学会等名
      INTERSPEECH2016
    • 発表場所
      Hyatt Regency, San Francisco, USA
    • 年月日
      2016-09-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Discriminative Graph-embedded Non-negative Matrix_Factorizationを用いた声質変換のためのパラレル辞書学習2016

    • 著者名/発表者名
      相原龍
    • 学会等名
      電子情報通信学会音声研究会(SP)
    • 発表場所
      京都大学,京都,日本
    • 年月日
      2016-08-24
    • 関連する報告書
      2016 実績報告書
  • [学会発表] SEMI-NON-NEGATIVE MATRIX FACTORIZATION USING ALTERNATING DIRECTION METHOD OF MULTIPLIERS FOR VOICE CONVERSION2016

    • 著者名/発表者名
      Ryo Aihara, Testuya Takiguchi, and Yasuo Ariki
    • 学会等名
      IEEE ICASSP 2016
    • 発表場所
      Shanghai, China
    • 年月日
      2016-03-20
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] Dysarthric Speech Modification Using Parallel Utterance Based on Non-negative Temporal Decomposition2016

    • 著者名/発表者名
      相原龍
    • 学会等名
      SLPAT 2016, 7th Workshop on Speech and Language Processing for Assistive Technologies
    • 発表場所
      San Francisco, USA
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Alternating Direction Method of Multipliersを用いた声質変換のためのパラレル辞書学習2015

    • 著者名/発表者名
      相原龍,滝口哲也,有木康雄
    • 学会等名
      第17回音声言語シンポジウム
    • 発表場所
      名古屋工業大学
    • 年月日
      2015-12-02
    • 関連する報告書
      2015 実績報告書
  • [学会発表] Individuality-Preserving Voice Conversion for Articulation Disorders Using Phoneme-Categorized Exemplars2015

    • 著者名/発表者名
      Ryo Aihara, Testuya Takiguchi, and Yasuo Ariki
    • 学会等名
      The 17th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS 2015)
    • 発表場所
      Lisbon, Portugal
    • 年月日
      2015-10-26
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] MANY-TO-ONE VOICE CONVERSION USING EXEMPLAR-BASED SPARSE REPRESENTATION2015

    • 著者名/発表者名
      Ryo Aihara, Testuya Takiguchi, and Yasuo Ariki
    • 学会等名
      IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA2015)
    • 発表場所
      New Paltz, USA
    • 年月日
      2015-10-18
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] 任意話者を対象としたExemplar-based声質変換2015

    • 著者名/発表者名
      相原龍, 滝口哲也, 有木康雄
    • 学会等名
      電子情報通信学会音声研究会(SP)
    • 発表場所
      神戸大学
    • 年月日
      2015-10-15
    • 関連する報告書
      2015 実績報告書
  • [学会発表] LIP-TO-SPEECH SYNTHESIS USING LOCALITY-CONSTRAINT NON-NEGATIVE MATRIX FACTORIZATION2015

    • 著者名/発表者名
      Ryo AIHARA, Kenta MASAKA, Tetsuya TAKIGUCHI, Yasuo ARIKI
    • 学会等名
      The First International Workshop on Machine Learning in Spoken Language Processing (MLSLP)
    • 発表場所
      Aizu-Wakamatsu, Japan
    • 年月日
      2015-09-19
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] Multiple Non-negative Matrix Factorization に基づく多対多声質変換2015

    • 著者名/発表者名
      相原龍, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2015年秋季研究発表会
    • 発表場所
      会津大学
    • 年月日
      2015-09-16
    • 関連する報告書
      2015 実績報告書
  • [学会発表] Many-to-many Voice Conversion Based on Multiple Non-negative Matrix Factorization2015

    • 著者名/発表者名
      Ryo Aihara, Testuya Takiguchi, and Yasuo Ariki
    • 学会等名
      INTERSPEECH 2015
    • 発表場所
      Dresden, Germany
    • 年月日
      2015-09-06
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] NOISE-ROBUST VOICE CONVERSION USING A SMALL PARALLEL DATA BASED ON NON-NEGATIVE MATRIX FACTORIZATION2015

    • 著者名/発表者名
      Ryo Aihara, Takao Fujii, Toru Nakashika, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      The 23rd European Signal Processing Conference (EUSIPCO)
    • 発表場所
      Nice, France
    • 年月日
      2015-08-31
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] ACTIVITY-MAPPING NON-NEGATIVE MATRIX FACTORIZATION FOR EXEMPLAR-BASED VOICE CONVERSION2015

    • 著者名/発表者名
      Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki, Kobe University
    • 学会等名
      ICASSP2015
    • 発表場所
      Brisbane, Australia
    • 年月日
      2015-04-21 – 2015-04-24
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Multiple Non-negative Matrix Factorizationに基づく多対一声質変換2015

    • 著者名/発表者名
      相原龍, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2015年春季研究発表会
    • 発表場所
      中央大学
    • 年月日
      2015-03-16 – 2015-03-18
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 少量のパラレルデータを用いたNon-negative Matrix Factorizationによる雑音環境下の声質変換2015

    • 著者名/発表者名
      藤井貴生, 相原龍, 中鹿亘, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2015年春季研究発表会
    • 発表場所
      中央大学
    • 年月日
      2015-03-16 – 2015-03-18
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 非負値行列因子分解に基づく唇動画像からの音声生成2015

    • 著者名/発表者名
      真坂健太, 相原 龍, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2015年春季研究発表会
    • 発表場所
      中央大学
    • 年月日
      2015-03-16 – 2015-03-18
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Exemplar-based Emotional Voice Conversion Using Non-negative Matrix Factorization2014

    • 著者名/発表者名
      Ryo AIHARA, Reina UEDA, Tetsuya TAKIGUCHI, Yasuo ARIKI
    • 学会等名
      APSIPA2014
    • 発表場所
      Siem Reap, Cambodia
    • 年月日
      2014-12-09 – 2014-12-12
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Multimodal Exemplar-based Voice Conversion using Lip Features in Noisy Environments2014

    • 著者名/発表者名
      Kenta Masaka, Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      Interspeech2014
    • 発表場所
      Singpore
    • 年月日
      2014-09-14 – 2014-09-18
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Error Correction of Automatic Speech Recognition Based on Normalized Web Distance2014

    • 著者名/発表者名
      E. Byambakhishig, K. Tanaka, R. Aihara, T. Nakashika, T. Takiguchi, Y. Ariki
    • 学会等名
      Interspeech2014
    • 発表場所
      Singpore
    • 年月日
      2014-09-14 – 2014-09-18
    • 関連する報告書
      2014 実績報告書
  • [学会発表] アクティビティマッピングによる非負値行列因子分解を用いた声質変換2014

    • 著者名/発表者名
      相原龍, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2014年秋季研究発表会
    • 発表場所
      北海学園大学
    • 年月日
      2014-09-03 – 2014-09-05
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 話者適応を用いたNMFによる雑音環境下の声質変換2014

    • 著者名/発表者名
      藤井貴生,相原龍,中鹿亘,滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2014年秋季研究発表会
    • 発表場所
      北海学園大学
    • 年月日
      2014-09-03 – 2014-09-05
    • 関連する報告書
      2014 実績報告書
  • [学会発表] ハイスピードカメラ画像を用いたマルチモーダルNMF声質変換2014

    • 著者名/発表者名
      真坂健太,相原龍, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2014年秋季研究発表会
    • 発表場所
      北海学園大学
    • 年月日
      2014-09-03 – 2014-09-05
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Individuality-preserving Voice Conversion for Articulation Disorders Using Dictionary Selective Non-negative Matrix Factorization2014

    • 著者名/発表者名
      Ryo Aihara, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      SLPAT 2014, 5th Workshop on Speech and Language Processing for Assistive Technologies
    • 発表場所
      Baltimore, U.S.
    • 年月日
      2014-06-26
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Normalized Web Distanceを用いた音声認識誤りの訂正法2014

    • 著者名/発表者名
      エンフボロルビャムバヒシグ, 田中克幸, 相原龍, 滝口哲也, 有木康雄
    • 学会等名
      第28回人工知能学会全国大会
    • 発表場所
      愛媛県県民文化会館
    • 年月日
      2014-05-12 – 2014-05-15
    • 関連する報告書
      2014 実績報告書
  • [学会発表] VOICE CONVERSION BASED ON NON-NEGATIVE MATRIX FACTORIZATION USING PHONEME-CATEGORIZED DICTIONARY2014

    • 著者名/発表者名
      Ryo AIHARA, Toru NAKASHIKA, Tetsuya TAKIGUCHI, Yasuo ARIKI
    • 学会等名
      ICASSP2014
    • 発表場所
      Florence, Italy
    • 年月日
      2014-05-04 – 2014-05-09
    • 関連する報告書
      2014 実績報告書
  • [学会発表] MULTIMODAL VOICE CONVERSION USING NON-NEGATIVE MATRIX FACTORIZATION IN NOISY ENVIRONMENTS2014

    • 著者名/発表者名
      Kenta MASAKA, Ryo AIHARA, Tetsuya TAKIGUCHI, Yasuo ARIKI
    • 学会等名
      ICASSP2014
    • 発表場所
      Florence, Italy
    • 年月日
      2014-05-04 – 2014-05-09
    • 関連する報告書
      2014 実績報告書
  • [図書] Computer and Information Science2016

    • 著者名/発表者名
      Roger Lee (Editor), Ryo Aihara, Kenta Masaka, Tetsuya Takiguchi, Yasuo Ariki
    • 総ページ数
      181
    • 出版者
      Springer International Publishing
    • 関連する報告書
      2016 実績報告書

URL: 

公開日: 2015-01-22   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi