スパース信号分解に基づく多次元音響メディア情報処理及びその音拡張現実感への応用

• 研究課題/領域番号: 14J10796
• 研究種目: 特別研究員奨励費
• 配分区分: 補助金
• 応募区分: 国内
• 研究分野: 知覚情報処理
• 研究機関: 総合研究大学院大学
• 研究代表者: 北村 大地 総合研究大学院大学, 複合科学研究科, 特別研究員(DC1)
• 研究期間 (年度): 2014-04-25 – 2017-03-31
• 研究課題ステータス: 完了 (2016年度)
• 配分額: 2,800千円 (直接経費: 2,800千円); 2016年度: 900千円 (直接経費: 900千円); 2015年度: 900千円 (直接経費: 900千円); 2014年度: 1,000千円 (直接経費: 1,000千円)
• キーワード: 音源分離 / 音メディア信号処理 / 非負値行列因子分解 / 多チャネル / 音響信号処理 / 独立成分分析 / 多チャネル信号処理 / アレー信号処理

研究実績の概要

本研究は，音メディアを対象とした拡張現実感システム（音ARシステム）の構築を最終的な目標としており，頑健に動作する教師無し及び教師あり音源分離技術の基礎的な理論構築及びマルチチャネル信号への拡張を行う．このような音源分離技術は，補聴器等の人支援デバイスや高臨場感音場再現技術，既存の音楽の能動的な鑑賞（ユーザによるリマスタリング）など多岐にわたる応用が可能である他，混合信号の中の潜在的な因子を解析する技術として，学術的にも極めて重要である．研究実施1年目では，マルチチャネル信号を対象とした極めて効率的な教師無し音源分離アルゴリズムを新たに提案しており，トップ国際会議への採択や当該成果に関する受賞等から，その学術的な価値が認められつつある．
2年目では，2年目で提案したマルチチャネル音源分離手法の数理的なメカニズム（音源の周波数構造を捉える機構及び空間的な伝達系を捉える機構）を詳しく解析し，トイモデルを用いて従来のstate-of-the-artな手法（独立ベクトル分析）からの数理的な拡張である事実を明確に示した．この成果は1年目の成果とまとめて国際論文誌に掲載されている．また，異なるアプローチである教師ありの音源分離手法として，分離対象音源固有の周波数構造を捉えられるように教師情報（音源固有のスペクトル構造）を変形・適応することで，より高精度なモノラル音源分離を実現する手法を新たに提案している．
3年目では，2年目の教師あり音源分離手法の成果を国際会議へ投稿し，発表している．また，1年目の成果であるマルチチャネル音源分離に対しても活用できるアルゴリズムとして，基盤技術となる非負値行列因子分解の効率的な変数初期値決定法を新たに提案し，国際会議で発表している．

現在までの達成度 (段落)

28年度が最終年度であるため、記入しない。

今後の研究の推進方策

28年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Low-latency and high-quality two-stage human-voice-enhancement system for a hose-shaped rescue robot (2017)
  • 著者名/発表者名: Yoshiaki Bando, Hiroshi Saruwatari, Nobutaka Ono, Shoji Makino, Katsutoshi Itoyama, Daichi Kitamura, Masaru Ishimura, Moe Takakusaki, Narumi Mae, Kouei Yamaoka, Yutaro Matsui, Yuichi Ambe, Masashi Konyo, Satoshi Tadokoro, Kazuyoshi Yoshii, and Hiroshi G. Okuno
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 27(1) ページ: 198-212
  • 査読あり / 国際共著
• [雑誌論文] Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization (2016)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech, and Language Processing 巻: 24(9) ページ: 1626-1641
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [学会発表] 独立低ランク行列分析と統計的音声強調を用いた柔軟索状ロボットにおけるブラインド音源分離システムの開発 (2017)
  • 著者名/発表者名: 三井祥幹, 溝口聡, 猿渡洋, 越智景子, 北村大地, 小野順貴, 石村大, 前成美, 高草木萌, 松井裕太郎, 山岡洸瑛, 牧野昭二
  • 学会等名: 日本音響学会 2017年春季研究発表会
  • 発表場所: 明治大学生田キャンパス（神奈川県・川崎市）
  • 年月日: 2017-03-15
  • 国際学会
• [学会発表] Blind source separation based on independent low-rank matrix analysis with sparse regularization for time-series activity (2017)
  • 著者名/発表者名: Yoshiki Mitsui, Daichi Kitamura, Shinnosuke Takamichi, Nobutaka Ono, and Hiroshi Saruwatari
  • 学会等名: The 42nd IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
  • 発表場所: New Orleans (USA)
  • 年月日: 2017-03-05
  • 国際学会
• [学会発表] The 2016 signal separation evaluation campaign (2017)
  • 著者名/発表者名: Antoine Liutkus, Fabian-Robert Stoter, Zafar Rafii, Daichi Kitamura, Bertrand Rivet, Nobutaka Ito, Nobutaka Ono, and Julie Fontecave
  • 学会等名: 13th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA 2017)
  • 発表場所: Grenoble (France)
  • 年月日: 2017-02-21
  • 国際学会
• [学会発表] Ego noise reduction for hose-shaped rescue robot combining independent low-rank matrix analysis and multichannel noise cancellation (2017)
  • 著者名/発表者名: Narumi Mae, Masaru Ishimura, Daichi Kitamura, Nobutaka Ono, Takeshi Yamada, Shoji Makino, and Hiroshi Saruwatari
  • 学会等名: 13th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA 2017)
  • 発表場所: Grenoble (France)
  • 年月日: 2017-02-21
  • 国際学会
• [学会発表] スパース時系列正則化付き独立低ランク行列分析における効率的な解法の検討 (2017)
  • 著者名/発表者名: 三井祥幹, 北村大地, 高道慎之介, 猿渡洋
  • 学会等名: 電子情報通信学会応用音響研究会
  • 発表場所: 同志社大学 室町キャンパス 寒梅館（京都府・京都市）
  • 年月日: 2017-01-25
• [学会発表] Ego noise reduction for hose-shaped rescue robot combining independent low-rank matrix analysis and noise cancellation (2016)
  • 著者名/発表者名: Narumi Mae, Daichi Kitamura, Masaru Ishimura, Takeshi Yamada, and Shoji Makino
  • 学会等名: Asia-Pacific Signal and Information Process Processing Association Annual Summit and Conference (APSIPA ASC 2016)
  • 発表場所: Jeju (Korea)
  • 年月日: 2016-12-13
  • 国際学会 / 招待講演
• [学会発表] Audio signal separation using supervised NMF with time-variant all-pole-model-based basis deformation (2016)
  • 著者名/発表者名: Hiroaki Nakajima, Daichi Kitamura, Norihiro Takamune, Shoichi Koyama, Hiroshi Saruwatari, Yu Takahashi, and Kazunobu Kondo
  • 学会等名: Asia-Pacific Signal and Information Process Processing Association Annual Summit and Conference (APSIPA ASC 2016)
  • 発表場所: Jeju (Korea)
  • 年月日: 2016-12-13
  • 国際学会 / 招待講演
• [学会発表] スパース時系列正則化に基づく独立低ランク行列分析を用いたブラインド音源分離 (2016)
  • 著者名/発表者名: 三井祥幹, 北村大地, 高道慎之介, 猿渡洋
  • 学会等名: 日本音響学会 2016年秋季研究発表会
  • 発表場所: 富山大学五福キャンパス（富山県・富山市）
  • 年月日: 2016-09-14
• [学会発表] Efficient initialization for nonnegative matrix factorization based on nonnegative independent component analysis (2016)
  • 著者名/発表者名: Daichi Kitamura and Nobutaka Ono
  • 学会等名: The 15th International Workshop on Acoustic Signal Enhancement (IWAENC 2016)
  • 発表場所: Xi'an (China)
  • 年月日: 2016-09-13
  • 国際学会
• [学会発表] Discriminative and reconstructive basis training for audio source separation with semi-supervised nonnegative matrix factorization (2016)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Saruwatari, Yu Takahashi, and Kazunobu Kondo
  • 学会等名: The 15th International Workshop on Acoustic Signal Enhancement (IWAENC 2016)
  • 発表場所: Xi'an (China)
  • 年月日: 2016-09-13
  • 国際学会
• [学会発表] Ego-noise reduction for a hose-shaped rescue robot using determined rank-1 multichannel nonnegative matrix factorization (2016)
  • 著者名/発表者名: Moe Takakusaki, Daichi Kitamura, Nobutaka Ono, Takeshi Yamada, Shoji Makino, and Hiroshi Saruwatari
  • 学会等名: The 15th International Workshop on Acoustic Signal Enhancement (IWAENC 2016)
  • 発表場所: Xi'an (China)
  • 年月日: 2016-09-13
  • 国際学会
• [学会発表] Music signal separation using supervised NMF with all-pole-model-based discriminative basis deformation (2016)
  • 著者名/発表者名: Hiroaki Nakajima, Daichi Kitamura, Norihiro Takamune, Shoichi Koyama, Hiroshi Saruwatari, Nobutaka Ono, Yu Takahashi, and Kazunobu Kondo
  • 学会等名: The 2016 European Signal Processing Conference (EUSIPCO 2016)
  • 発表場所: Budapest (Hungary)
  • 年月日: 2016-08-29
  • 国際学会
• [学会発表] ランク1空間モデル制約付き多チャネルNMFを用いた柔軟索状ロボットにおける雑音抑圧 (2016)
  • 著者名/発表者名: 高草木萌, 北村大地, 小野順貴, 山田武志, 牧野昭二, 猿渡洋
  • 学会等名: 日本機械学会 ロボティクス・メカトロニクス講演会 (ROBOMECH 2016)
  • 発表場所: パシフィコ横浜（神奈川県・横浜市）
  • 年月日: 2016-06-08
• [学会発表] ランク1空間モデル制約付き多チャネルNMFを用いた柔軟索状ロボットにおける雑音抑圧 (2016)
  • 著者名/発表者名: 高草木萌, 北村大地, 小野順貴, 山田武志, 牧野昭二, 猿渡洋
  • 学会等名: ロボティクス・メカトロニクス講演会 (ROBOMECH2016)
  • 発表場所: パシフィコ横浜
  • 年月日: 2016-06-08
• [学会発表] 半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法 (2016)
  • 著者名/発表者名: 北村大地, 小野順貴, 猿渡洋, 高橋祐, 近藤多伸
  • 学会等名: IEICE Technical Report
  • 発表場所: 別府国際コンベンションセンター B-ConPlaza
  • 年月日: 2016-03-28
• [学会発表] ランク1空間モデル制約付き多チャネルNMFを用いた雑音抑圧の柔軟索状ロボットへの適用 (2016)
  • 著者名/発表者名: 高草木萌, 北村大地, 小野順貴, 山田武志, 牧野昭二, 猿渡洋
  • 学会等名: 電子情報通信学会 2016年総合大会
  • 発表場所: 九州大学 伊都キャンパス
  • 年月日: 2016-03-15
• [学会発表] 時変な全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離 (2016)
  • 著者名/発表者名: 中嶋広明, 北村大地, 高宗典玄, 小山翔一, 猿渡洋, 小野順貴, 高橋祐, 近藤多伸
  • 学会等名: 日本音響学会 2016年春季研究発表会, 3-3-11, pp. 635-638
  • 発表場所: 桐蔭横浜大学
  • 年月日: 2016-03-09
• [学会発表] 教師あり多チャネルNMFと統計的音声強調を用いた柔軟索状ロボットにおける音源分離 (2016)
  • 著者名/発表者名: 高田一真, 北村大地, 中嶋広明, 小山翔一, 猿渡洋, 小野順貴, 牧野昭二
  • 学会等名: 日本音響学会 2016年春季研究発表会, 3-3-2, pp. 609-612
  • 発表場所: 桐蔭横浜大学
  • 年月日: 2016-03-09
• [学会発表] 独立性基準を用いた非負値行列因子分解の効果的な初期値決定法 (2016)
  • 著者名/発表者名: 北村大地, 小野順貴
  • 学会等名: 日本音響学会 2016年春季研究発表会, 3-3-5, pp. 619-622
  • 発表場所: 桐蔭横浜大学
  • 年月日: 2016-03-09
• [学会発表] 全極モデルを用いた基底変形型教師ありNMFにおける変形自由度に関する研究 (2015)
  • 著者名/発表者名: 中嶋広明, 北村大地, 高宗典玄, 小山翔一, 猿渡洋, 小野順貴, 高橋祐, 近藤多伸
  • 学会等名: IEICE Technical Report, EA2015-42, vol. 115, no. 359, pp. 13-18
  • 発表場所: 金沢大学 サテライト・プラザ
  • 年月日: 2015-12-11
• [学会発表] 全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離 (2015)
  • 著者名/発表者名: 中嶋広明, 北村大地, 高宗典玄, 小山翔一, 猿渡洋, 小野順貴, 高橋祐, 近藤多伸
  • 学会等名: 日本音響学会 2015年秋季研究発表会, 3-6-7, pp. 573-576
  • 発表場所: 会津大学
  • 年月日: 2015-09-16
• [学会発表] ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 (2015)
  • 著者名/発表者名: 北村大地, 猿渡洋, 小野順貴, 澤田宏, 亀岡弘和
  • 学会等名: 日本音響学会 2015年秋季研究発表会, 3-6-10, pp. 583-586
  • 発表場所: 会津大学
  • 年月日: 2015-09-16
• [学会発表] Relaxation of rank-1 spatial constraint in overdetermined blind source separation (2015)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • 学会等名: The 2015 European Signal Processing Conference (EUSIPCO 2015)
  • 発表場所: Nice, France
  • 年月日: 2015-08-31
  • 国際学会
• [学会発表] The 2015 signal separation evaluation campaign (2015)
  • 著者名/発表者名: Nobutaka Ono, Zafar Rafii, Daichi Kitamura, Nobutaka Ito, Antoine Liutkus
  • 学会等名: 12th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA 2015)
  • 発表場所: Liberec, Czech
  • 年月日: 2015-08-25
  • 国際学会
• [学会発表] 多チャネル非負値行列因子分解におけるランク1空間モデルの音源分離性能評価 (2015)
  • 著者名/発表者名: 北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋
  • 学会等名: Proceedings of 107th IPSJ Special Interest Group on Music and Computer (IPSJ-SIGMUS), vol. 2015-MUS-107, no. 31
  • 発表場所: 電気通信大学
  • 年月日: 2015-05-23
• [学会発表] Efficient multichannel nonnegative matrix factorization exploiting rank-1 spatial model (2015)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • 学会等名: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] Efficient multichannel nonnegative matrix factorization exploiting rank-1 spatial model (2015)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • 学会等名: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015), pp. 276-280
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19
  • 国際学会
• [学会発表] 過決定条件BSS におけるランク1 空間制約の緩和 (2015)
  • 著者名/発表者名: 北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋
  • 学会等名: 日本音響学会 2015年春季研究発表会
  • 発表場所: 中央大学後楽園キャンパス，東京
  • 年月日: 2015-03-16 – 2015-03-18
• [学会発表] Efficient multichannel nonnegative matrix factorization with rank-1 spatial model (2014)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • 学会等名: 2014 Autumn Meeting of Acoustical Society of Japan
  • 発表場所: 北海学園大学豊平キャンパス，北海道，日本
  • 年月日: 2014-09-03 – 2014-09-05
• [図書] Determined blind source separation with independent low-rank matrix analysis, Audio Source Separation, Shoji Makino, Eds. (2017)
  • 著者名/発表者名: Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari
  • 総ページ数: 31
  • 出版者: Springer
• [図書] Q11 ビームフォーミングって何ですか？, 日本音響学会編音響学入門ペディア (2017)
  • 著者名/発表者名: 北村大地
  • 総ページ数: 4
  • 出版者: コロナ社
• [備考] Demonstrations of Research
  • URL: http://d-kitamura.sakura.ne.jp/demo.htm
• [備考] Demonstrations of Research
  • URL: http://d-kitamura.sakura.ne.jp/en/demo_en.htm
• [備考] ランク1空間モデルを用いた効率的な多チャネルNMFによるブラインド音源分離
  • URL: http://d-kitamura.sakura.ne.jp/demo_rank1.htm