混合音に対する複数同時発話認識のための統一的ベイズアプローチ

• 研究課題/領域番号: 15K12063
• 研究種目: 挑戦的萌芽研究
• 配分区分: 基金
• 研究分野: 知覚情報処理
• 研究機関: 京都大学
• 研究代表者: 吉井 和佳 京都大学, 情報学研究科, 講師 (20510001)
• 研究分担者: 糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
• 連携研究者: 河原 達也 京都大学, 大学院情報学研究科, 教授 (00234104) ; 持橋 大地 統計数理研究所, モデリング研究系, 准教授 (80418508)
• 研究期間 (年度): 2015-04-01 – 2017-03-31
• 研究課題ステータス: 完了 (2016年度)
• 配分額: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円); 2016年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2015年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: 音源分離 / 音声認識 / 確率モデル / ベイズモデル / MCMC

研究成果の概要

本研究では、音源分離を確率的に統合した同時発話音声認識を行う手法を提案した。音源分離により復元される音声信号には不確実性が存在するため、音声信号の事後分布を考慮することで音声認識との統合を行う。これにより、復元すべき音声を一意に定めることなく混合音から直接認識結果を得ることが可能となった。また、音の重畳過程と音源モデルを内包する統合モデルにより、高精度な音源分離を行う手法を考案した。具体的には、重畳過程・音源モデルに対して、混合モデル (LDA) および因子モデル (NMF) のそれぞれのモデル化を行うことで、各モデルの音源分離性能を比較評価した。

研究成果

• [雑誌論文] Layout Optimization of Cooperative Distributed Microphone Arrays Based on Estimation of Source Separation Performance (2017)
  • 著者名/発表者名: Kouhei Sekiguchi, Yoshiaki Bando, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 29 号: 1 ページ: 83-93
  • DOI: 10.20965/jrm.2017.p0083
  • NAID: 130007519901
  • ISSN: 0915-3942, 1883-8049
  • 年月日: 2017-02-20
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Low Latency and High Quality Two-Stage Human-Voice-Enhancement System for a Hose-Shaped Rescue Robot (2017)
  • 著者名/発表者名: Yoshiaki Bando, Hiroshi Saruwatari, Nobutaka Ono, Shoji Makino, Katustoshi Itoyama1, Daichi Kitamura, Masaru Ishimura, Moe Takakusaki, Narumi Mae, Kouei Yamaoka, Yutaro Matsui, Yuichi Ambe, Masashi Konyo, Satoshi Tadokoro, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 29 号: 1 ページ: 198-212
  • DOI: 10.20965/jrm.2017.p0198
  • NAID: 130007519848
  • ISSN: 0915-3942, 1883-8049
  • 年月日: 2017-02-20
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] Bayesian Multichannel Nonnegative Matrix Factorization for Audio Source Separation and Localization (2017)
  • 著者名/発表者名: Kousuke Itakura, Yoshiaki Bando, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii, Tatsuya Kawahara
  • 学会等名: IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
  • 発表場所: New Orleans, USA
  • 年月日: 2017-03-05
  • 国際学会
• [学会発表] マルチチャネル音源分離のための低ランク音源モデルとスパース重畳過程に基づくネスト型ベイズ混合・因子モデル (2016)
  • 著者名/発表者名: 板倉光佑, 坂東宜昭, 中村栄太, 糸山克寿, 吉井和佳, 河原達也
  • 学会等名: 電子情報通信学会 第19回情報論的学習理論ワークショップ
  • 発表場所: 京都大学
  • 年月日: 2016-11-15
• [学会発表] Sound-Based Online Localization for an In-Pipe Snake Robot (2016)
  • 著者名/発表者名: Yoshiaki Bando, Hiroki Suhara, Motoyasu Tanaka, Tetsushi Kamegawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Fumitoshi Matsuno, Hiroshi G. Okuno
  • 学会等名: IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR)
  • 発表場所: Lausanne, Switzerland
  • 年月日: 2016-10-23
  • 国際学会
• [学会発表] Online Simultaneous Localization and Mapping of Multiple Sound Sources and Asynchronous Microphone Arrays (2016)
  • 著者名/発表者名: Kouhei Sekiguchi, Yoshiaki Bando, Keisuke Nakamura, Kazuhiro Nakadai, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
  • 発表場所: Daejeon, Korea
  • 年月日: 2016-10-09
  • 国際学会
• [学会発表] Student's t Multichannel Nonnegative Matrix Factorization for Blind Source Separation (2016)
  • 著者名/発表者名: Koichi Kitamura, Yoshiaki Bando, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: IEEE International Workshop on Acoustic Signal Enhancement (IWAENC)
  • 発表場所: Xian, China
  • 年月日: 2016-09-13
  • 国際学会
• [学会発表] A Unified Bayesian Model of Time-Frequency Clustering and Low-Rank Approximation for Multi-Channel Source Separation (2016)
  • 著者名/発表者名: Kousuke Itakura, Yoshiaki Bando, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: European Signal Processing Conference (EUSIPCO)
  • 発表場所: Budapest, Hungary
  • 年月日: 2016-08-29
  • 国際学会
• [学会発表] Variational Bayesian Multi-Channel Robust NMF for Human-Voice Enhancement with a Deformable and Partially-Occluded Microphone Array (2016)
  • 著者名/発表者名: Yoshiaki Bando, Katsuyoshi Itoyama, Masashi Konyo, Satoshi Tadokoro, Kazuhiro Nakadai, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: European Signal Processing Conference (EUSIPCO)
  • 発表場所: Budapest, Hungary
  • 年月日: 2016-08-29
  • 国際学会
• [学会発表] マルチチャネル音源分離のためのネスト型基底・音源混合モデルに基づく時間周波数クラスタリング (2016)
  • 著者名/発表者名: 板倉光佑, 坂東宜昭, 中村栄太, 糸山克寿, 吉井和佳, 河原達也
  • 学会等名: 電子情報通信学会 音声研究会
  • 発表場所: 京都大学
  • 年月日: 2016-08-24
• [学会発表] 変分ベイズ多チャネルロバストNMFに基づくマイクロホンの移動・被覆を許容する音声強調 (2016)
  • 著者名/発表者名: 坂東宜昭, 糸山克寿, 昆陽雅司, 田所諭, 中臺一博, 吉井和佳, 河原達也, 奥乃博
  • 学会等名: 電子情報通信学会 音声研究会
  • 発表場所: 京都大学
  • 年月日: 2016-08-24
• [学会発表] 音源分離のためのベイズモデルに基づく音源信号の不確実性を考慮した音声認識 (2015)
  • 著者名/発表者名: 板倉光佑, 坂東宜昭, 糸山克寿, 吉井和佳
  • 学会等名: 日本音響学会 2015年秋季研究発表会
  • 発表場所: 会津大学
  • 年月日: 2015-09-16
• [学会発表] Bayesian Integration of Sound Source Separation and Speech Recognition: A New Approach to Simultaneous Speech Recognition (2015)
  • 著者名/発表者名: Kousuke Itakura, Izaya Nishimuta, Yoshiaki Bando, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: Interspeech
  • 発表場所: Dresden, Germany
  • 年月日: 2015-09-06
  • 国際学会