混合音に対する複数同時発話認識のための統一的ベイズアプローチ

2016 年度 実績報告書

• 研究課題/領域番号: 15K12063
• 研究機関: 京都大学
• 研究代表者: 吉井 和佳 京都大学, 情報学研究科, 講師 (20510001)
• 研究分担者: 糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
• 研究期間 (年度): 2015-04-01 – 2017-03-31
• キーワード: 音声認識 / 音源分離 / ベイズモデル

研究実績の概要

本年度は、音源分離精度の本質的な向上を目的として、低ランク音源モデルとスパース重畳過程に基づくネスト型ベイズ混合・因子モデルを用いたマルチチャネル音源分離法について研究を行った。従来の音源分離では、音源モデルに対して低ランク性を仮定したうえで、因子モデルであるNMFを用いるものや、重畳過程における音源のスパース性を仮定したうえで、混合モデルであるLDAを用いるものなどがあった。提案法では、音源モデルと重畳過程を統合した音源分離を行うことで、高精度な分離が実現できる。また、因子モデルと混合モデルの関係性に着目し、音源モデルと重畳過程のそれぞれに対し、因子モデルと混合モデルによるモデル化を行うことで複数の分離法を提案した。本研究成果は、信号処理分野のトップカンファレンスであるICASSP 2017に採択され、IEEE/ACM TASLPには現在のところ条件付き採録となっている。一方、音声強調技術についても研究を行った。具体的には、マイクアレイや周囲の環境などの事前情報を用いなくても、入力音響信号である多チャネル振幅スペクトログラムを低ランク成分 (雑音) とスパース成分 (目的音声) とに高精度に分離することができる手法を開発した。本手法は本来、瓦礫内探査用レスキューロボットに搭載することを目的として開発されたが、一般的な場面における音声強調にも効果があることが判明し、実際に音声認識率の大幅な確認した。本研究成果は、信号処理分野の国際会議であるEUSIPCO 2017に採択され、英文ジャーナルJRMにも採録されている。これら一連の研究により、音声強調・分離・認識という一連のプロセスがすべて確率モデルに基づいて定式化さて、昨年度開発した、MCMCに基づく音響信号処理と音声認識の統合法をさらに改善することが可能となった。

研究成果

• [雑誌論文] Layout Optimization of Cooperative Distributed Microphone Arrays Based on Estimation of Source Separation Performance (2017)
  • 著者名/発表者名: Kouhei Sekiguchi, Yoshiaki Bando, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 雑誌名: Journal of Robotics and Mechatronics 巻: Vol. 29, No. 1 ページ: 83-93
  • DOI: 10.20965/jrm.2017.p0083
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Low-Latency and High-Quality Two-Stage Human-Voice-Enhancement System for a Hose-Shaped Rescue Robot (2017)
  • 著者名/発表者名: Yoshiaki Bando, Hiroshi Saruwatari, Nobutaka Ono, Shoji Makino, Katustoshi Itoyama, Daichi Kitamura, Masaru Ishimura, Moe Takakusaki, Narumi Mae, Kouei Yamaoka, Yutaro Matsui, Yuichi Ambe, Masashi Konyo, Satoshi Tadokoro, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 雑誌名: Journal of Robotics and Mechatronics 巻: Vol. 29, No. 1 ページ: 198-212
  • DOI: 10.20965/jrm.2017.p0198
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] Bayesian Multichannel Nonnegative Matrix Factorization for Audio Source Separation and Localization (2017)
  • 著者名/発表者名: Kousuke Itakura, Yoshiaki Bando, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii, Tatsuya Kawahara
  • 学会等名: IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
  • 発表場所: New Orleans, USA
  • 年月日: 2017-03-05 – 2017-03-09
  • 国際学会
• [学会発表] マルチチャネル音源分離のための低ランク音源モデルとスパース重畳過程に基づくネスト型ベイズ混合・因子モデル (2016)
  • 著者名/発表者名: 板倉光佑, 坂東宜昭, 中村栄太, 糸山克寿, 吉井和佳, 河原達也
  • 学会等名: 電子情報通信学会 第19回情報論的学習理論ワークショップ
  • 発表場所: 京都大学
  • 年月日: 2016-11-15 – 2016-11-19
• [学会発表] Sound-Based Online Localization for an In-Pipe Snake Robot (2016)
  • 著者名/発表者名: Yoshiaki Bando, Hiroki Suhara, Motoyasu Tanaka, Tetsushi Kamegawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Fumitoshi Matsuno, Hiroshi G. Okuno
  • 学会等名: IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR)
  • 発表場所: Lausanne, Switzerland
  • 年月日: 2016-10-23 – 2016-10-27
  • 国際学会
• [学会発表] Online Simultaneous Localization and Mapping of Multiple Sound Sources and Asynchronous Microphone Arrays (2016)
  • 著者名/発表者名: Kouhei Sekiguchi, Yoshiaki Bando, Keisuke Nakamura, Kazuhiro Nakadai, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
  • 発表場所: Daejeon, Korea
  • 年月日: 2016-10-09 – 2016-10-14
  • 国際学会
• [学会発表] Student's t Multichannel Nonnegative Matrix Factorization for Blind Source Separation (2016)
  • 著者名/発表者名: Koichi Kitamura, Yoshiaki Bando, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: IEEE International Workshop on Acoustic Signal Enhancement (IWAENC)
  • 発表場所: Xian, China
  • 年月日: 2016-09-13 – 2016-09-16
  • 国際学会
• [学会発表] A Unified Bayesian Model of Time-Frequency Clustering and Low-Rank Approximation for Multi-Channel Source Separation (2016)
  • 著者名/発表者名: Kousuke Itakura, Yoshiaki Bando, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: European Signal Processing Conference (EUSIPCO)
  • 発表場所: Budapest, Hungary
  • 年月日: 2016-08-29 – 2016-09-02
  • 国際学会
• [学会発表] Variational Bayesian Multi-Channel Robust NMF for Human-Voice Enhancement with a Deformable and Partially-Occluded Microphone Array (2016)
  • 著者名/発表者名: Yoshiaki Bando, Katsuyoshi Itoyama, Masashi Konyo, Satoshi Tadokoro, Kazuhiro Nakadai, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: European Signal Processing Conference (EUSIPCO)
  • 発表場所: Budapest, Hungary
  • 年月日: 2016-08-29 – 2016-09-02
  • 国際学会
• [学会発表] マルチチャネル音源分離のためのネスト型基底・音源混合モデルに基づく時間周波数クラスタリング (2016)
  • 著者名/発表者名: 板倉光佑, 坂東宜昭, 中村栄太, 糸山克寿, 吉井和佳, 河原達也
  • 学会等名: 電子情報通信学会 音声研究会
  • 発表場所: 京都大学
  • 年月日: 2016-08-24 – 2016-08-25
• [学会発表] 変分ベイズ多チャネルロバストNMFに基づくマイクロホンの移動・被覆を許容する音声強調 (2016)
  • 著者名/発表者名: 坂東宜昭, 糸山克寿, 昆陽雅司, 田所諭, 中臺一博, 吉井和佳, 河原達也, 奥乃博
  • 学会等名: 電子情報通信学会 音声研究会
  • 発表場所: 京都大学
  • 年月日: 2016-08-24 – 2016-08-25