極限環境で動作するロボット聴覚を搭載したホース型レスキューロボットシステム

• 研究課題/領域番号: 15J08765
• 研究種目: 特別研究員奨励費
• 配分区分: 補助金
• 応募区分: 国内
• 研究分野: 知能ロボティクス
• 研究機関: 京都大学
• 研究代表者: 坂東 宜昭 京都大学, 情報学研究科, 特別研究員(DC1)
• 研究期間 (年度): 2015-04-24 – 2018-03-31
• 研究課題ステータス: 完了 (2017年度)
• 配分額: 2,500千円 (直接経費: 2,500千円); 2017年度: 800千円 (直接経費: 800千円); 2016年度: 800千円 (直接経費: 800千円); 2015年度: 900千円 (直接経費: 900千円)
• キーワード: ロボット聴覚 / 音声強調 / 深層生成モデル / ブラインド多チャネル音声強調 / ベイジアン低ランク・スパース分解 / レスキューロボティクス / 自己位置推定 / 統計的信号処理 / マルチモーダル信号処理

研究実績の概要

これまで取り組んできた低ランク・スパース分解に基づく音声強調法は，スパース性という音声の１側面のみを捉えた仮定に基づき音声信号を抽出していたため，強調性能に限界があった．一方近年，深層ニューラルネットワーク(DNN)を用いて，雑音を含む音声信号からクリーンな音声信号への写像を教師あり学習することで，高品質な音声強調が実現しつつある．しかし，このアプローチでは，大量の訓練データを準備する必要があるうえ，未知の雑音環境下に対する汎化性能に問題があった．
平成29年度は，雑音を事前学習せず高い品質で音声強調するために，深層学習に基づく音声モデルと従来の統計モデルに基づく雑音モデルを確率的に統合した半教師あり音声強調法を開発した．本手法では，音声スペクトログラムは深層生成モデルから確率的に生成され，雑音スペクトログラムは非負値行列因子分解(NMF)モデルから生成されると仮定し，これらが重畳することで混合音スペクトログラムが生成されると考える．音声スペクトルの深層生成モデルを事前に大量のクリーン音声信号を用いて教師なし学習しておけば，混合音が与えられたときに，含まれている実際の音声スペクトルをベイズ推論できる．本枠組みのNMFモデルは観測に合わせて雑音成分を適応的に推定するため，雑音信号の訓練データを必要としない．シミュレーション混合音を用いた評価実験では，従来の低ランク・スパース分解法より高い性能を達成した．さらに，従来のDNNに基づく教師あり音声強調法に対しても，教師あり法にとっての未知雑音環境下でより高い性能を確認した．

現在までの達成度 (段落)

29年度が最終年度であるため、記入しない。

今後の研究の推進方策

29年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Speech enhancement based on Bayesian low-rank and sparse decomposition of multichannel magnitude spectrograms (2018)
  • 著者名/発表者名: Y.Bando, K.Itoyama, M.Konyo, S.Tadokoro, K.Nakadai, K.Yoshii, T.Kawahara, and H.G.Okuno
  • 雑誌名: IEEE/ACM Trans. Audio, Speech & Language Processing 巻: 26 号: 2 ページ: 215-230
  • DOI: 10.1109/taslp.2017.2772340
  • 査読あり
• [雑誌論文] Low Latency and High Quality Two-Stage Human-Voice-Enhancement System for a Hose-Shaped Rescue Robot (2017)
  • 著者名/発表者名: Yoshiaki Bando, Hiroshi Saruwatari, Nobutaka Ono, Shoji Makino, Katustoshi Itoyama1, Daichi Kitamura, Masaru Ishimura, Moe Takakusaki, Narumi Mae, Kouei Yamaoka, Yutaro Matsui, Yuichi Ambe, Masashi Konyo, Satoshi Tadokoro, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 29 号: 1 ページ: 198-212
  • DOI: 10.20965/jrm.2017.p0198
  • NAID: 130007519848
  • ISSN: 0915-3942, 1883-8049
  • 年月日: 2017-02-20
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] Statistical Speech Enhancement Based on Probabilistic Integration of Variational Autoencoder and Non-Negative Matrix Factorization (2018)
  • 著者名/発表者名: Yoshiaki Bando, Masato Mimura, Katsutoshi Itoyama, Kazuyoshi Yoshii, Tatsuya Kawahara
  • 学会等名: IEEE International Conference on Acoustics, Speech and Signal Processing
  • 国際学会
• [学会発表] 音響センサを用いた配管内探査ヘビ型ロボットの3 次元位置推定 (2017)
  • 著者名/発表者名: 坂東 宜昭, 須原 大貴, 亀川 哲志, 糸山 克寿, 吉井 和佳, 松野 文俊, 奥乃 博
  • 学会等名: 日本ロボット学会学術講演会
• [学会発表] 深層生成モデルを事前分布に用いた教師なし音声強調 (2017)
  • 著者名/発表者名: 坂東宜昭, 三村正人, 糸山克寿, 吉井和佳, 河原達也
  • 学会等名: 電子情報通信学会 音声研究会
• [学会発表] 多チャネル低ランク・スパース分解に基づく柔軟索状レスキューロボットのためのリアルタイム音声強調 (2017)
  • 著者名/発表者名: 坂東 宜昭, 安部 祐一, 糸山 克寿, 昆陽 雅司, 田所 諭, 中臺 一博, 吉井 和佳, 奥乃 博
  • 学会等名: ロボティクス・メカトロニクス講演会
• [学会発表] Sound-based Online Localization for an In-pipe Snake Robot (2016)
  • 著者名/発表者名: Yoshiaki Bando, Hiroki Suhara, Motoyasu Tanaka, Tetsushi Kamegawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Fumitoshi Matsuno, Hiroshi G. Okuno
  • 学会等名: IEEE International Symposium on Safety, Security, and Rescue Robotics
  • 発表場所: EPFL, Lausanne, Switzerland
  • 年月日: 2016-10-23
  • 国際学会
• [学会発表] 変分ベイズ多チャネルRNMFに基づく柔軟索状レスキューロボットのための音声強調 (2016)
  • 著者名/発表者名: 坂東 宜昭, 糸山 克寿, 昆陽 雅司, 田所 諭, 中臺 一博, 吉井 和佳, 奥乃 博
  • 学会等名: 日本ロボット学会 第34回学術講演会
  • 発表場所: 山形大学
  • 年月日: 2016-09-07
• [学会発表] Variational Bayesian Multi-channel Robust NMF for Human-voice Enhancement with a Deformable and Partially-occluded Microphone Array (2016)
  • 著者名/発表者名: Yoshiaki Bando, Katsutoshi Itoyama, Masashi Konyo, Satoshi Tadokoro, Kazuhiro Nakadai, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: European Signal Processing Conference
  • 発表場所: Budapest, Hungary
  • 年月日: 2016-08-29
  • 国際学会
• [学会発表] 変分ベイズ多チャネルロバストNMFに基づくマイクロホンの移動・被覆を許容する音声強調 (2016)
  • 著者名/発表者名: 坂東 宜昭, 糸山 克寿, 昆陽 雅司, 田所 諭, 中臺 一博, 吉井 和佳, 河原 達也, 奥乃 博
  • 学会等名: 音声研究会
  • 発表場所: 京都大学
  • 年月日: 2016-08-24
• [学会発表] 柔軟索状レスキューロボットのためのマイクロホン・加速度センサアレイを用いた3 次元姿勢推定 (2016)
  • 著者名/発表者名: 坂東 宜昭, 糸山 克寿, 昆陽 雅司, 田所 諭, 中臺 一博, 吉井 和佳, 奥乃 博
  • 学会等名: 日本機械学会 ロボティクス・メカトロニクス講演会
  • 発表場所: パシフィコ横浜
  • 年月日: 2016-07-08
• [学会発表] マイクロホンアレイ音源分離のための複素t分布に基づくマルチチャネル非負値行列因子分解 (2016)
  • 著者名/発表者名: 北村昂一, 坂東宜昭, 糸山克寿, 吉井和佳
  • 学会等名: 情報処理学会 第78回全国大会
  • 発表場所: 慶応義塾大学矢上キャンパス
  • 年月日: 2016-03-10
• [学会発表] 音源到来方向・時間差を用いた非同期複数マイクロホンアレイ位置のオンライン推定 (2016)
  • 著者名/発表者名: 関口 航平, 坂東 宜昭, 中村 圭佑, 中臺 一博, 糸山 克俊, 吉井 和佳
  • 学会等名: 情報処理学会 第78回全国大会
  • 発表場所: 慶応義塾大学矢上キャンパス
  • 年月日: 2016-03-10
• [学会発表] 音源スペクトログラムの低ランク性とスパース性を考慮した NMF-LDA に基づくマルチチャネル音源定位と音源分離 (2016)
  • 著者名/発表者名: 板倉光佑、坂東宜昭、中村栄太、糸山克寿、吉井和佳
  • 学会等名: 情報処理学会 第78回全国大会
  • 発表場所: 慶応義塾大学矢上キャンパス
  • 年月日: 2016-03-10
• [学会発表] 複数移動ロボットによる協調音源分離のための分離精度予測を用いた配置最適化 (2015)
  • 著者名/発表者名: 関口 航平, 坂東 宜昭, 糸山 克寿, 吉井和佳
  • 学会等名: 人工知能学会 第42回 AIチャレンジ研究会
  • 発表場所: 慶應義塾大学日吉キャンパス
  • 年月日: 2015-11-12
• [学会発表] Human-Voice Enhancement based on Online RPCA for a Hose-shaped Rescue Robot with a Microphone Array (2015)
  • 著者名/発表者名: Yoshiaki Bando, Katsutoshi Itoyama, Masashi Konyo, Satoshi Tadokoro, Kazuhiro Nakadai, Kazuyoshi Yoshi, Hiroshi G. Okuno
  • 学会等名: IEEE International Symposium on Safety, Security, and Rescue Robotics 2015
  • 発表場所: Indiana, USA
  • 年月日: 2015-10-18
  • 国際学会
• [学会発表] Microphone-accelerometer based 3D Posture Estimation for a Hose-shaped Rescue Robot (2015)
  • 著者名/発表者名: Yoshiaki Bando, Katsutoshi Itoyama, Masashi Konyo, Satoshi Tadokoro, Kazuhiro Nakadai, Kazuyoshi Yoshi, Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems 2015
  • 発表場所: Hamburg, Germany
  • 年月日: 2015-09-28
  • 国際学会
• [学会発表] Audio-Visual Beat Tracking Based on a State-Space Model for a Music Robot Dancing with Humans (2015)
  • 著者名/発表者名: Misato Ohkita, Yoshiaki Bando, Yukara Ikemiya, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems 2015
  • 発表場所: Hamburg, Germany
  • 年月日: 2015-09-28
  • 国際学会
• [学会発表] Optimizing the Layout of Multiple Mobile Robots for Cooperative Sound Source Separation (2015)
  • 著者名/発表者名: Kouhei Sekiguchi, Yoshiaki Bando, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems 2015
  • 発表場所: Hamburg, Germany
  • 年月日: 2015-09-28
  • 国際学会
• [学会発表] 音源分離のためのベイズモデルに基づく音源信号の不確実性を考慮した音声認識 (2015)
  • 著者名/発表者名: 板倉光佑、坂東宜昭、糸山克寿、吉井和佳
  • 学会等名: 日本音響学会 2015 秋季研究発表会
  • 発表場所: 会津大学
  • 年月日: 2015-09-16
• [学会発表] Bayesian Integration of Sound Source Separation and Speech Recognition: A New Approach to Simultaneous Speech Recognition (2015)
  • 著者名/発表者名: Kousuke Itakura, Izaya Nishimuta, Yoshiaki Bando, Katsutoshi Itoyama, and Kazuyoshi Yoshii
  • 学会等名: Interspeech 2015
  • 発表場所: Dresden, Germany
  • 年月日: 2015-09-06
  • 国際学会
• [学会発表] ロバスト主成分分析を用いた動作雑音抑圧に基づく柔軟索状レスキューロボットのための音声強調 (2015)
  • 著者名/発表者名: 坂東 宜昭, 糸山 克寿, 昆陽 雅司, 田所 諭, 中臺 一博, 吉井 和佳, 奥乃 博
  • 学会等名: 日本ロボット学会 第33回学術講演会
  • 発表場所: 東京電機大学東京千住キャンパス
  • 年月日: 2015-09-03
• [学会発表] 複数移動ロボットを用いた音源分離における音源配置に応じたロボットの最適配置探索 (2015)
  • 著者名/発表者名: 関口 航平, 坂東 宜昭, 糸山 克寿, 吉井和佳
  • 学会等名: 日本ロボット学会 第33回学術講演会
  • 発表場所: 東京電機大学東京千住キャンパス
  • 年月日: 2015-09-03
• [学会発表] 両耳聴ロボット聴覚ソフトウェアHARK-BinauralとRaspberry Pi 2を用いたヒューマノイドロボットへの適用 (2015)
  • 著者名/発表者名: 坂東 宜昭, 金 宜鉉, 糸山 克寿, 吉井 和佳, 中臺 一博, 奥乃 博
  • 学会等名: 音学シンポジウム 2015
  • 発表場所: 電気通信大学
  • 年月日: 2015-05-23
• [産業財産権] 目的音響信号復元システム及び方法 (2016)
  • 発明者名: 坂東宜昭, 吉井和佳, 糸山克寿，奥乃博
  • 権利者名: 国立大学法人 京都大学
  • 産業財産権種類: 特許
  • 出願年月日: 2016-05-23