Robust speech enhancement against speaker's movements in noisy reverberant environments for hearing aid

• Project/Area Number: 25350670
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Rehabilitation science/Welfare engineering
• Research Institution: Oita University
• Principal Investigator: Furuya Ken'ichi 大分大学, 工学部, 教授 (10643611)
• Co-Investigator(Renkei-kenkyūsha): NISHIJIMA Keisuke 大分大学, 工学部, 助教 (30237698)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Project Status: Completed (Fiscal Year 2015)
• Budget Amount: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2015: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2014: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2013: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
• Keywords: マイクロホンアレイ / 画像処理 / 非負値行列因子分解 / 音響モデル / 残響抑圧 / 雑音抑圧

Outline of Final Research Achievements

We propose two speech enhancement methods for hearing aid. The first is the method combining image information captured by camera and audio information captured by microphone array. Experiment results show that the performance with the proposed method using microphone array and camera is superior to the system only with microphone array. The second method uses the Multichannel Nonnegative Matrix Factorization (MNMF) for speech enhancement. The problem of MNMF is initial-value dependency for the performance. In experimental results, the initial-value settings based on the phase differences between the microphones was more effective than the random settings

Research Products

• [Journal Article] Log-likelihood method to select initial values of multichannel non-negative matrix factorization (2015)
  • Author(s): Yoshiyama, F., Uenohara, S., Nishijima, K., Hioka, Y., & Furuya, K
  • Journal Title: IEEE International Conference on Consumer Electronics - Taiwan Volume: 1 Pages: 126-127
  • DOI: 10.1109/icce-tw.2015.7216813
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Snore activity detection using smartphone sensors (2015)
  • Author(s): Nishijima, K., Uenohara, S., Furuya, K.
  • Journal Title: IEEE International Conference on Consumer Electronics - Taiwan Volume: 1 Pages: 128-129
  • DOI: 10.1109/icce-tw.2015.7216814
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 多チャンネルインパルス応答測定における多重M系列信号と多重Log-SS信号の巡回性について (2015)
  • Author(s): 黒田 翔馬，上ノ原 進吾，西島 恵介，古家 賢一
  • Journal Title: 電子情報通信学会技術報告 Volume: 115(303) Pages: 69-74
• [Presentation] SVM を用いたいびき区間検出における学習データ数に関する検討 (2016)
  • Author(s): 西島 恵介，上ノ原 進吾，古家 賢一
  • Organizer: 日本音響学会
  • Place of Presentation: 桐蔭横浜大学（神奈川県横浜市）
  • Year and Date: 2016-03-09
• [Presentation] 複数話者存在する環境での画像処理を用いた雑音抑圧 (2015)
  • Author(s): 梶原祥希、吉山文教、上ノ原進吾、西島恵介、古家賢一
  • Organizer: 電気・情報関係学会九州支部連合大会
  • Place of Presentation: 福岡大学(福岡県福岡市）
  • Year and Date: 2015-09-26
• [Presentation] 消音ギター発音機構の非線形性の分析 (2015)
  • Author(s): 宮前 寛、上ノ原進吾、西島恵介、古家賢一
  • Organizer: 電気・情報関係学会九州支部連合大会
  • Place of Presentation: 福岡大学(福岡県福岡市）
  • Year and Date: 2015-09-26
• [Presentation] ウェーブレット変換を用いた心音分析における雑音抑圧のパラメータについて (2015)
  • Author(s): 工藤 晋也，西島 恵介，上ノ原 進吾，古家 賢一
  • Organizer: 日本音響学会
  • Place of Presentation: 会津大学（福島県会津若松市）
  • Year and Date: 2015-09-16
• [Presentation] 多チャンネルインパルス応答測定における多重M 系列信号と多重Log-SS 信号の比較 (2015)
  • Author(s): 黒田 翔馬，上ノ原 進吾，西島 恵介，古家 賢一
  • Organizer: 日本音響学会
  • Place of Presentation: 会津大学（福島県会津若松市）
  • Year and Date: 2015-09-16
• [Presentation] 平面波モデルを用いたマルチチャネル非負値行列因子分解アルゴリズム (2015)
  • Author(s): 吉山文教，上ノ原進吾，西島恵介，古家賢一
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学，東京
  • Year and Date: 2015-03-16
• [Presentation] PHASE DIFFERENCE AND LOG-LIKELIHOOD METHODS TO SELECT INITIAL VALUES FOR MULTICHANNEL NON-NEGATIVE MATRIX FACTORIZATION IN SOUND SOURCE SEPARATION (2015)
  • Author(s): Fuminori YOSHIYAMA, Shingo UENOHARA, Keisuke NISHIJIMA, and Ken’ichi FURUYA
  • Organizer: The seventh Kyushu and Youngnam Joint Conference on Acoustics
  • Place of Presentation: Nagasaki University, Nagasaki, Japan
  • Year and Date: 2015-01-10
• [Presentation] 音源分離における直交化制約を用いたマルチチャネルNMFの検討 (2014)
  • Author(s): 吉山文教，上ノ原進吾，西島恵介，古家賢一
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 九州大学，福岡
  • Year and Date: 2014-11-21
• [Presentation] マルチチャネルNMFにおける初期値選択のための位相差法と対数尤度法 (2014)
  • Author(s): 吉山文教，上ノ原進吾，西島恵介，古家賢一
  • Organizer: 平成26年度電気・情報関係学会九州支部連合大会
  • Place of Presentation: 鹿児島大学，鹿児島
  • Year and Date: 2014-09-18
• [Presentation] 画像処理による頭部追跡を用いた音声強調の評価 (2014)
  • Author(s): 有滿大輝，上ノ原 進吾，西島 恵介，古家 賢一
  • Organizer: 音響学会
  • Place of Presentation: 日本大学理工学部
• [Presentation] 他者のHRTFを用いた場合の音像定位精度に対する聴取者の学習効果 (2014)
  • Author(s): 宮前寛，上ノ原 進吾，西島 恵介，古家 賢一
  • Organizer: 音響学会
  • Place of Presentation: 日本大学理工学部
• [Presentation] マルチチャネル非負値行列因子分解における分離性能の高い初期値の判別法 (2014)
  • Author(s): 吉山文教，上ノ原 進吾，西島 恵介，古家 賢一
  • Organizer: 音響学会
  • Place of Presentation: 日本大学理工学部