2018 Fiscal Year Annual Research Report
Development of silent speech telecommunication techniques robust against external noise
| Project/Area Number |
15K12064
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429) [Withdrawn]
サクリアニ サクティ 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005) [Withdrawn]
Neubig Graham 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員准教授 (70633428) [Withdrawn]
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 音声等認識 |
|---|
| Outline of Annual Research Achievements |
周囲に聴取困難なほど微弱なささやき声によるサイレント音声コミュニケーションの実環境下への適用を目指し、外部雑音に対して頑健に動作するサイレント音声通話技術の研究開発に取り組んだ。
１．空気・体内伝導マイクロフォンを併用した雑音抑圧技術の構築：前年度までに構築した外部雑音モニタリングを用いた雑音抑圧技術の枠組みをさらに発展させて、空気伝導マイクロフォンアレーおよび体内伝導マイクロフォンを活用して雑音抑圧を行う枠組みを考案するとともに、空気・体内伝導音信号を対象とした多チャンネル信号処理に基づく音声強調技術を構築した。実験的評価により、空気伝導音信号と体内伝導音信号を相補的に活用することで、高い雑音抑圧性能が得られることを示した。
２．ウェアラブル型空気・体内伝導マイクロフォンに基づく空気・体内伝導音収録システムの構築：ネックバンド式の体内伝導マイクロフォンを改良することで、空気伝導マイクロフォンアレー機能を備えたウェアラブル型空気・体内伝導音収録システムを開発した。収録された空気・体内伝導音信号に対して、上述の雑音抑圧技術を適用することで、高精度な音声強調処理が可能であることを実験的に示した。
３．耐雑音性に優れた統計的音声強調技術の構築：雑音環境下におけるサイレント音声強調性能の改善を目指し、基盤技術となる統計的音声強調処理の外部雑音に対する頑健性に関する調査を行った。実験的評価結果から、音声波形加工に基づく統計的音声強調処理が高い耐雑音性を持つことを明らかにした。
４．複数モダリティ情報を用いた音声強調技術の構築：雑音環境下におけるサイレント音声強調性能のさらなる改善を目指し、音声以外のモダリティ情報を用いた音声強調技術の構築にも取り組んだ。特に、口唇画像を併用した統計的音声強調基盤技術の構築や、呼気情報を活用した励振源生成技術の構築に取り組んだ。
|
