Development of fundamental technology for speech and sound event processing based on complementary use of air- and body-conducted sound signals

2019 Fiscal Year Final Research Report

• Project/Area Number: 17H01763
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Nagoya University
• Principal Investigator: Toda Tomoki 名古屋大学, 情報基盤センター, 教授 (90403328)
• Co-Investigator(Kenkyū-buntansha): 北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501) ; 亀岡 弘和 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 特別研究員 (20466402)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 音声情報処理 / 音響信号処理 / 音声変換 / 音声強調 / 音声認識 / 音響イベント検出

Outline of Final Research Achievements

In this research, we developed fundamental technology for speech and sound event processing based on complementary use of air- and body-conducted sound signals to make it possible to handle various information included in sound signals beyond physical constraints. We developed fundamental technology to simultaneously record air- and body-conducted sound signals and air- and body-conducted sound signal processing technology capable of effectively using complementary properties of these two types of sound signals. Furthermore, we developed fundamental technology for speech and sound source enhancement processing and speech and sound event recognition processing, further investigating their potential to develop applications for augmenting our physical functions.

Free Research Field

音メディア情報処理

Academic Significance and Societal Importance of the Research Achievements

空気伝導音信号を対象とした音声／音環境情報処理技術が盛んに研究されている状況の中、本研究では、体内伝導音信号の利活用という別の視点から、新たな音声／音環境情報処理基盤の構築に取り組んだ。空気／体内伝導音信号の相補的活用と深層学習に代表される最先端の機械学習を組み合わせることで、音の重ね合わせによる情報消失といった本質的な問題を緩和できることを学術的に示した。また、本基盤技術を応用することで、身体的機能拡張といった社会的意義の高い応用技術が実現できる可能性を見出した。