• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of silent speech telecommunication techniques robust against external noise

Research Project

Project/Area Number 15K12064
Research Category

Grant-in-Aid for Challenging Exploratory Research

Allocation TypeMulti-year Fund
Research Field Perceptual information processing
Research InstitutionNagoya University

Principal Investigator

Toda Tomoki  名古屋大学, 情報基盤センター, 教授 (90403328)

Co-Investigator(Kenkyū-buntansha) 中村 哲  奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
サクリアニ サクティ  奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005)
Neubig Graham  奈良先端科学技術大学院大学, 先端科学技術研究科, 客員准教授 (70633428)
Project Period (FY) 2015-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2017: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2016: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2015: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords音声強調 / 雑音抑圧 / 音声変換 / 音声加工 / サイレント音声 / 音声等認識 / 音声合成 / 信号処理 / 統計処理
Outline of Final Research Achievements

In this research project, towards the development of a telecommunication system capable of keeping privacy and avoiding annoying others under real environments, we studied silent speech telecommunication techniques robust against external noise. We developed silent speech enhancement techniques making it possible to enhance body-conducted speech under noisy conditions complementary using air-conducted speech as well, which are detected using both body- and air-conductive microphones. Moreover, we developed speech modification techniques to enhance speech intelligibility under noisy conditions. Consequently, we have significantly improved robustness of silent speech telecommunication against external noise in both speaker and listener sides.

Academic Significance and Societal Importance of the Research Achievements

本研究成果により、古くから盛んに研究されている空気伝導音声に対する強調処理に加え、新たに体内伝導音声も併用することで、お互いの収録過程に起因する音響的特徴を相補的に有効利用できることが示された。これにより、空気・体内伝導音声情報処理といった新たな研究分野が見い出された。本研究課題で構築した技術は、携帯電話やスマートフォンなどを用いた通話において、秘匿性を保持した発話や、周囲に迷惑をかけない発話を可能とするものであり、より利便性の高い音声コミュニケーションの実現が期待される。

Report

(5 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • 2015 Research-status Report
  • Research Products

    (34 results)

All 2019 2018 2017 2016 2015

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Acknowledgement Compliant: 3 results,  Open Access: 1 results) Presentation (28 results) (of which Int'l Joint Research: 3 results,  Invited: 3 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] A noise suppression method for body-conducted soft speech based on non-negative tensor factorization of air- and body-conducted signals2017

    • Author(s)
      Yusuke Tajiri, Hirokazu Kameoka, Tomoki Toda
    • Journal Title

      Proceedings of ICASSP

      Volume: - Pages: 4960-4964

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Nonaudible murmur enhancement based on statistical voice conversion and noise suppression with external noise monitoring2016

    • Author(s)
      Yusuke Tajiri, Tomoki Toda
    • Journal Title

      Proceedings of 9th ISCA Speech Synthesis Workshop (SSW9)

      Volume: - Pages: 54-60

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Noise suppression method for body-conducted soft speech enhancement based on external noise monitoring2016

    • Author(s)
      Yusuke Tajiri, Tomoki Toda, Satoshi Nakamura
    • Journal Title

      Proceedings of ICASSP

      Volume: - Pages: 5935-5939

    • Related Report
      2015 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Non-audible murmur enhancement based on statistical conversion using air- and body-conductive microphones in noisy environments2015

    • Author(s)
      Yusuke Tajiri, Kou Tanaka, Tomoki Toda, Graham Neubig, Sakriani Sakti, Satoshi Nakamura
    • Journal Title

      Proceedings of INTERSPEECH

      Volume: - Pages: 2769-2773

    • Related Report
      2015 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 波形加工に基づく統計的声質変換の外部雑音に対する頑健性2019

    • Author(s)
      栗田 優佑, 小林 和弘, 武田 一哉, 戸田 智基
    • Organizer
      電子情報通信学会音声研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 雑音環境下における統計的声質変換の頑健性に関する調査2019

    • Author(s)
      栗田 優佑, 小林 和弘, 武田 一哉, 戸田 智基
    • Organizer
      日本音響学会2019年春季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Self-produced speech enhancement and suppression method using air- and body-conductive microphones2018

    • Author(s)
      Moe Takada, Shogo Seki, Tomoki Toda
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2018 (APSIPA ASC 2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Audio-visual voice conversion using deep canonical correlation analysis for deep bottleneck features2018

    • Author(s)
      Satoshi Tamura, Kento Horio, Hajime Endo, Satoru Hayamizu, Tomoki Toda
    • Organizer
      INTERSPEECH 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Designing a pneumatic bionic voice prosthesis - statistical approach for source excitation generation2018

    • Author(s)
      Farzaneh Ahmadi, Tomoki Toda
    • Organizer
      INTERSPEECH 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音声変換による発声機能の拡張2018

    • Author(s)
      戸田 智基
    • Organizer
      東京大学ヒューマンオーグメンテーション学第4回セミナー
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] ウェアラブルな空気/体内伝導マイクロフォンを用いた自己発声音強調/抑圧法2018

    • Author(s)
      高田 萌絵, 関 翔悟, 戸田 智基
    • Organizer
      電子情報通信学会電気音響研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 空気/体内伝導マイクロフォンを用いた雑音環境下における自己発声音強調/抑圧法2018

    • Author(s)
      高田 萌絵, 関 翔悟, 戸田 智基
    • Organizer
      日本音響学会2018年秋季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 深層ボトルネック特徴と深層正準相関分析を用いたマルチモーダル声質変換2018

    • Author(s)
      田村 哲嗣, 堀尾 健斗, 遠藤 肇, 速水 悟, 戸田 智基
    • Organizer
      電子情報通信学会音声研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 深層ボトルネック特徴と深層正準相関分析を用いたマルチモーダル声質変換2018

    • Author(s)
      田村 哲嗣, 堀尾 健斗, 遠藤 肇, 速水 悟, 戸田 智基
    • Organizer
      サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] 実環境下におけるサイレント音声通話の実現に向けた雑音環境変動に頑健な非可聴つぶやき強調法2017

    • Author(s)
      田尻 祐介, 亀岡 弘和, 戸田 智基
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル(福岡県福岡市)
    • Year and Date
      2017-10-14
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層学習に基づく非可聴つぶやき認識用音響モデルの構築2017

    • Author(s)
      野田 聖太, 林 知樹, 戸田 智基, 武田 一哉
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル(福岡県福岡市)
    • Year and Date
      2017-10-14
    • Related Report
      2016 Research-status Report
  • [Presentation] 非可聴つぶやき強調のためのセグメント特徴量正則化NTF2017

    • Author(s)
      田尻 祐介, 亀岡 弘和, 戸田 智基
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      明治大学(神奈川県川崎市)
    • Year and Date
      2017-03-15
    • Related Report
      2016 Research-status Report
  • [Presentation] 非可聴つぶやき認識のための通常音声を活用したDNN音響モデル学習2017

    • Author(s)
      野田 聖太, 林 知樹, 戸田 智基, 武田 一哉
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      明治大学(神奈川県川崎市)
    • Year and Date
      2017-03-15
    • Related Report
      2016 Research-status Report
  • [Presentation] 統計的音声波形変換に基づく雑音環境下における音声了解度向上2017

    • Author(s)
      武山 知弘, 小林 和弘, 田尻 祐介, 戸田 智基, 武田 一哉
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      明治大学(神奈川県川崎市)
    • Year and Date
      2017-03-15
    • Related Report
      2016 Research-status Report
  • [Presentation] セグメント特徴量正則化NTFに基づく雑音環境下における非可聴つぶやき強調2017

    • Author(s)
      田尻 祐介, 亀岡 弘和, 戸田 智基
    • Organizer
      電子情報通信学会/日本音響学会 音声研究会
    • Place of Presentation
      沖縄産業支援センター(沖縄県那覇市)
    • Year and Date
      2017-03-01
    • Related Report
      2016 Research-status Report
  • [Presentation] 実環境下サイレント音声通話に向けた統計的非可聴つぶやき強調のための外部雑音抑圧法2017

    • Author(s)
      田尻 祐介, 亀岡 弘和, 戸田 智基
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Research-status Report
  • [Presentation] 非可聴つぶやき認識のための深層学習に基づく音響モデリング2017

    • Author(s)
      野田 聖太, 林 知樹, 戸田 智基, 武田 一哉
    • Organizer
      平成29年度電気・電子・情報関係学会東海支部連合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] DNN適応に基づく非可聴つぶやき認識用話者・環境依存音響モデルの構築2017

    • Author(s)
      野田 聖太, 林 知樹, 戸田 智基, 武田 一哉
    • Organizer
      電子情報通信学会音声研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 雑音環境下における音声了解度向上に向けた音声波形加工手法の評価2017

    • Author(s)
      武山 知弘, 小林 和弘, 戸田 智基, 武田 一哉
    • Organizer
      電子情報通信学会音声研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 音声変換技術の進展と課題2017

    • Author(s)
      戸田 智基
    • Organizer
      日本音響学会東海支部総会・講演会
    • Place of Presentation
      ルブラ王山(愛知県名古屋市)
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] 空気/体内伝導信号の非負値テンソル分解に基づく実環境下における非可聴つぶやき強調2016

    • Author(s)
      田尻 祐介, 亀岡 弘和, 戸田 智基, 中村 哲
    • Organizer
      電子情報通信学会/日本音響学会 音声研究会
    • Place of Presentation
      別府国際コンベンションセンター(大分県別府市)
    • Year and Date
      2016-03-28
    • Related Report
      2015 Research-status Report
  • [Presentation] 空気/体内伝導信号の非負値テンソル分解に基づく体内伝導微弱音声に対する雑音抑圧法2016

    • Author(s)
      田尻 祐介, 亀岡 弘和, 戸田 智基, 中村 哲
    • Organizer
      日本音響学会2016年春季研究発表会
    • Place of Presentation
      桐蔭横浜大学(神奈川県横浜市)
    • Year and Date
      2016-03-09
    • Related Report
      2015 Research-status Report
  • [Presentation] Statistical voice conversion and its application to augmented speech production2016

    • Author(s)
      Tomoki Toda
    • Organizer
      名古屋工業大学情報科学フロンティア研究院特別講演会
    • Place of Presentation
      名古屋工業大学(愛知県名古屋市)
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] 外部雑音モニタリングに基づく体内伝導微弱音声に対する雑音抑圧法2015

    • Author(s)
      田尻 祐介, 戸田 智基, 中村 哲
    • Organizer
      電子情報通信学会 応用音響研究会/日本音響学会 電気音響研究会
    • Place of Presentation
      熊本大学黒髪南キャンパス(熊本県熊本市)
    • Year and Date
      2015-11-12
    • Related Report
      2015 Research-status Report
  • [Presentation] 雑音環境下におけるサイレント音声通話の実現に向けた非可聴つぶやきに対する2チャネル雑音抑圧法2015

    • Author(s)
      田尻 祐介, 戸田 智基, 中村 哲
    • Organizer
      第2回サイレント音声認識ワークショップ
    • Place of Presentation
      神戸大学 瀧川記念学術交流会館(兵庫県神戸市)
    • Year and Date
      2015-10-16
    • Related Report
      2015 Research-status Report
  • [Presentation] 外部雑音モニタリングを用いた非可聴つぶやきに対する雑音抑圧法2015

    • Author(s)
      田尻 祐介, 戸田 智基, Graham Neubig, Sakriani Sakti, 中村 哲
    • Organizer
      日本音響学会2015年秋季研究発表会
    • Place of Presentation
      会津大学(福島県会津若松市)
    • Year and Date
      2015-09-16
    • Related Report
      2015 Research-status Report
  • [Presentation] 空気/体内伝導マイクを併用した雑音環境下における非可聴つぶやき強調法とその評価2015

    • Author(s)
      田尻 祐介, 田中 宏, 戸田 智基, Graham Neubig, Sakriani Sakti, 中村 哲
    • Organizer
      電子情報通信学会/日本音響学会 音声研究会
    • Place of Presentation
      新潟大学駅南キャンパス「ときめいと」(新潟県新潟市)
    • Year and Date
      2015-06-18
    • Related Report
      2015 Research-status Report
  • [Patent(Industrial Property Rights)] 信号解析装置、方法、及びプログラム2016

    • Inventor(s)
      亀岡 弘和,田尻 祐介,戸田 智基,中村 哲
    • Industrial Property Rights Holder
      日本電信電話株式会社,国立大学法人奈良先端科学技術大学院大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2016-032414
    • Filing Date
      2016-02-23
    • Related Report
      2015 Research-status Report
  • [Patent(Industrial Property Rights)] 肉伝導音集音システム及び肉伝導音集音システムの装着方法2015

    • Inventor(s)
      田尻 祐介,戸田 智基,他3名
    • Industrial Property Rights Holder
      国立大学法人奈良先端科学技術大学院大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2015-170837
    • Filing Date
      2015-08-31
    • Related Report
      2015 Research-status Report

URL: 

Published: 2015-04-16   Modified: 2020-08-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi