スパース信号分解に基づく多次元音響メディア情報処理及びその音拡張現実感への応用

• Project/Area Number: 14J10796
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Perceptual information processing
• Research Institution: The Graduate University for Advanced Studies
• Principal Investigator: 北村 大地 総合研究大学院大学, 複合科学研究科, 特別研究員(DC1)
• Project Period (FY): 2014-04-25 – 2017-03-31
• Project Status: Completed (Fiscal Year 2016)
• Budget Amount: ¥2,800,000 (Direct Cost: ¥2,800,000); Fiscal Year 2016: ¥900,000 (Direct Cost: ¥900,000); Fiscal Year 2015: ¥900,000 (Direct Cost: ¥900,000); Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000)
• Keywords: 音源分離 / 音メディア信号処理 / 非負値行列因子分解 / 多チャネル / 音響信号処理 / 独立成分分析 / 多チャネル信号処理 / アレー信号処理

Outline of Annual Research Achievements

本研究は，音メディアを対象とした拡張現実感システム（音ARシステム）の構築を最終的な目標としており，頑健に動作する教師無し及び教師あり音源分離技術の基礎的な理論構築及びマルチチャネル信号への拡張を行う．このような音源分離技術は，補聴器等の人支援デバイスや高臨場感音場再現技術，既存の音楽の能動的な鑑賞（ユーザによるリマスタリング）など多岐にわたる応用が可能である他，混合信号の中の潜在的な因子を解析する技術として，学術的にも極めて重要である．研究実施1年目では，マルチチャネル信号を対象とした極めて効率的な教師無し音源分離アルゴリズムを新たに提案しており，トップ国際会議への採択や当該成果に関する受賞等から，その学術的な価値が認められつつある．
2年目では，2年目で提案したマルチチャネル音源分離手法の数理的なメカニズム（音源の周波数構造を捉える機構及び空間的な伝達系を捉える機構）を詳しく解析し，トイモデルを用いて従来のstate-of-the-artな手法（独立ベクトル分析）からの数理的な拡張である事実を明確に示した．この成果は1年目の成果とまとめて国際論文誌に掲載されている．また，異なるアプローチである教師ありの音源分離手法として，分離対象音源固有の周波数構造を捉えられるように教師情報（音源固有のスペクトル構造）を変形・適応することで，より高精度なモノラル音源分離を実現する手法を新たに提案している．
3年目では，2年目の教師あり音源分離手法の成果を国際会議へ投稿し，発表している．また，1年目の成果であるマルチチャネル音源分離に対しても活用できるアルゴリズムとして，基盤技術となる非負値行列因子分解の効率的な変数初期値決定法を新たに提案し，国際会議で発表している．

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Low-latency and high-quality two-stage human-voice-enhancement system for a hose-shaped rescue robot (2017)
  • Author(s): Yoshiaki Bando, Hiroshi Saruwatari, Nobutaka Ono, Shoji Makino, Katsutoshi Itoyama, Daichi Kitamura, Masaru Ishimura, Moe Takakusaki, Narumi Mae, Kouei Yamaoka, Yutaro Matsui, Yuichi Ambe, Masashi Konyo, Satoshi Tadokoro, Kazuyoshi Yoshii, and Hiroshi G. Okuno
  • Journal Title: Journal of Robotics and Mechatronics Volume: 27(1) Pages: 198-212
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization (2016)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari
  • Journal Title: IEEE/ACM Transactions on Audio, Speech, and Language Processing Volume: 24(9) Pages: 1626-1641
  • Peer Reviewed / Open Access / Int'l Joint Research / Acknowledgement Compliant
• [Presentation] 独立低ランク行列分析と統計的音声強調を用いた柔軟索状ロボットにおけるブラインド音源分離システムの開発 (2017)
  • Author(s): 三井祥幹, 溝口聡, 猿渡洋, 越智景子, 北村大地, 小野順貴, 石村大, 前成美, 高草木萌, 松井裕太郎, 山岡洸瑛, 牧野昭二
  • Organizer: 日本音響学会 2017年春季研究発表会
  • Place of Presentation: 明治大学生田キャンパス（神奈川県・川崎市）
  • Year and Date: 2017-03-15
  • Int'l Joint Research
• [Presentation] Blind source separation based on independent low-rank matrix analysis with sparse regularization for time-series activity (2017)
  • Author(s): Yoshiki Mitsui, Daichi Kitamura, Shinnosuke Takamichi, Nobutaka Ono, and Hiroshi Saruwatari
  • Organizer: The 42nd IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
  • Place of Presentation: New Orleans (USA)
  • Year and Date: 2017-03-05
  • Int'l Joint Research
• [Presentation] The 2016 signal separation evaluation campaign (2017)
  • Author(s): Antoine Liutkus, Fabian-Robert Stoter, Zafar Rafii, Daichi Kitamura, Bertrand Rivet, Nobutaka Ito, Nobutaka Ono, and Julie Fontecave
  • Organizer: 13th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA 2017)
  • Place of Presentation: Grenoble (France)
  • Year and Date: 2017-02-21
  • Int'l Joint Research
• [Presentation] Ego noise reduction for hose-shaped rescue robot combining independent low-rank matrix analysis and multichannel noise cancellation (2017)
  • Author(s): Narumi Mae, Masaru Ishimura, Daichi Kitamura, Nobutaka Ono, Takeshi Yamada, Shoji Makino, and Hiroshi Saruwatari
  • Organizer: 13th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA 2017)
  • Place of Presentation: Grenoble (France)
  • Year and Date: 2017-02-21
  • Int'l Joint Research
• [Presentation] スパース時系列正則化付き独立低ランク行列分析における効率的な解法の検討 (2017)
  • Author(s): 三井祥幹, 北村大地, 高道慎之介, 猿渡洋
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 同志社大学 室町キャンパス 寒梅館（京都府・京都市）
  • Year and Date: 2017-01-25
• [Presentation] Ego noise reduction for hose-shaped rescue robot combining independent low-rank matrix analysis and noise cancellation (2016)
  • Author(s): Narumi Mae, Daichi Kitamura, Masaru Ishimura, Takeshi Yamada, and Shoji Makino
  • Organizer: Asia-Pacific Signal and Information Process Processing Association Annual Summit and Conference (APSIPA ASC 2016)
  • Place of Presentation: Jeju (Korea)
  • Year and Date: 2016-12-13
  • Int'l Joint Research / Invited
• [Presentation] Audio signal separation using supervised NMF with time-variant all-pole-model-based basis deformation (2016)
  • Author(s): Hiroaki Nakajima, Daichi Kitamura, Norihiro Takamune, Shoichi Koyama, Hiroshi Saruwatari, Yu Takahashi, and Kazunobu Kondo
  • Organizer: Asia-Pacific Signal and Information Process Processing Association Annual Summit and Conference (APSIPA ASC 2016)
  • Place of Presentation: Jeju (Korea)
  • Year and Date: 2016-12-13
  • Int'l Joint Research / Invited
• [Presentation] スパース時系列正則化に基づく独立低ランク行列分析を用いたブラインド音源分離 (2016)
  • Author(s): 三井祥幹, 北村大地, 高道慎之介, 猿渡洋
  • Organizer: 日本音響学会 2016年秋季研究発表会
  • Place of Presentation: 富山大学五福キャンパス（富山県・富山市）
  • Year and Date: 2016-09-14
• [Presentation] Efficient initialization for nonnegative matrix factorization based on nonnegative independent component analysis (2016)
  • Author(s): Daichi Kitamura and Nobutaka Ono
  • Organizer: The 15th International Workshop on Acoustic Signal Enhancement (IWAENC 2016)
  • Place of Presentation: Xi'an (China)
  • Year and Date: 2016-09-13
  • Int'l Joint Research
• [Presentation] Discriminative and reconstructive basis training for audio source separation with semi-supervised nonnegative matrix factorization (2016)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Saruwatari, Yu Takahashi, and Kazunobu Kondo
  • Organizer: The 15th International Workshop on Acoustic Signal Enhancement (IWAENC 2016)
  • Place of Presentation: Xi'an (China)
  • Year and Date: 2016-09-13
  • Int'l Joint Research
• [Presentation] Ego-noise reduction for a hose-shaped rescue robot using determined rank-1 multichannel nonnegative matrix factorization (2016)
  • Author(s): Moe Takakusaki, Daichi Kitamura, Nobutaka Ono, Takeshi Yamada, Shoji Makino, and Hiroshi Saruwatari
  • Organizer: The 15th International Workshop on Acoustic Signal Enhancement (IWAENC 2016)
  • Place of Presentation: Xi'an (China)
  • Year and Date: 2016-09-13
  • Int'l Joint Research
• [Presentation] Music signal separation using supervised NMF with all-pole-model-based discriminative basis deformation (2016)
  • Author(s): Hiroaki Nakajima, Daichi Kitamura, Norihiro Takamune, Shoichi Koyama, Hiroshi Saruwatari, Nobutaka Ono, Yu Takahashi, and Kazunobu Kondo
  • Organizer: The 2016 European Signal Processing Conference (EUSIPCO 2016)
  • Place of Presentation: Budapest (Hungary)
  • Year and Date: 2016-08-29
  • Int'l Joint Research
• [Presentation] ランク1空間モデル制約付き多チャネルNMFを用いた柔軟索状ロボットにおける雑音抑圧 (2016)
  • Author(s): 高草木萌, 北村大地, 小野順貴, 山田武志, 牧野昭二, 猿渡洋
  • Organizer: 日本機械学会 ロボティクス・メカトロニクス講演会 (ROBOMECH 2016)
  • Place of Presentation: パシフィコ横浜（神奈川県・横浜市）
  • Year and Date: 2016-06-08
• [Presentation] ランク1空間モデル制約付き多チャネルNMFを用いた柔軟索状ロボットにおける雑音抑圧 (2016)
  • Author(s): 高草木萌, 北村大地, 小野順貴, 山田武志, 牧野昭二, 猿渡洋
  • Organizer: ロボティクス・メカトロニクス講演会 (ROBOMECH2016)
  • Place of Presentation: パシフィコ横浜
  • Year and Date: 2016-06-08
• [Presentation] 半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法 (2016)
  • Author(s): 北村大地, 小野順貴, 猿渡洋, 高橋祐, 近藤多伸
  • Organizer: IEICE Technical Report
  • Place of Presentation: 別府国際コンベンションセンター B-ConPlaza
  • Year and Date: 2016-03-28
• [Presentation] ランク1空間モデル制約付き多チャネルNMFを用いた雑音抑圧の柔軟索状ロボットへの適用 (2016)
  • Author(s): 高草木萌, 北村大地, 小野順貴, 山田武志, 牧野昭二, 猿渡洋
  • Organizer: 電子情報通信学会 2016年総合大会
  • Place of Presentation: 九州大学 伊都キャンパス
  • Year and Date: 2016-03-15
• [Presentation] 時変な全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離 (2016)
  • Author(s): 中嶋広明, 北村大地, 高宗典玄, 小山翔一, 猿渡洋, 小野順貴, 高橋祐, 近藤多伸
  • Organizer: 日本音響学会 2016年春季研究発表会, 3-3-11, pp. 635-638
  • Place of Presentation: 桐蔭横浜大学
  • Year and Date: 2016-03-09
• [Presentation] 教師あり多チャネルNMFと統計的音声強調を用いた柔軟索状ロボットにおける音源分離 (2016)
  • Author(s): 高田一真, 北村大地, 中嶋広明, 小山翔一, 猿渡洋, 小野順貴, 牧野昭二
  • Organizer: 日本音響学会 2016年春季研究発表会, 3-3-2, pp. 609-612
  • Place of Presentation: 桐蔭横浜大学
  • Year and Date: 2016-03-09
• [Presentation] 独立性基準を用いた非負値行列因子分解の効果的な初期値決定法 (2016)
  • Author(s): 北村大地, 小野順貴
  • Organizer: 日本音響学会 2016年春季研究発表会, 3-3-5, pp. 619-622
  • Place of Presentation: 桐蔭横浜大学
  • Year and Date: 2016-03-09
• [Presentation] 全極モデルを用いた基底変形型教師ありNMFにおける変形自由度に関する研究 (2015)
  • Author(s): 中嶋広明, 北村大地, 高宗典玄, 小山翔一, 猿渡洋, 小野順貴, 高橋祐, 近藤多伸
  • Organizer: IEICE Technical Report, EA2015-42, vol. 115, no. 359, pp. 13-18
  • Place of Presentation: 金沢大学 サテライト・プラザ
  • Year and Date: 2015-12-11
• [Presentation] 全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離 (2015)
  • Author(s): 中嶋広明, 北村大地, 高宗典玄, 小山翔一, 猿渡洋, 小野順貴, 高橋祐, 近藤多伸
  • Organizer: 日本音響学会 2015年秋季研究発表会, 3-6-7, pp. 573-576
  • Place of Presentation: 会津大学
  • Year and Date: 2015-09-16
• [Presentation] ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 (2015)
  • Author(s): 北村大地, 猿渡洋, 小野順貴, 澤田宏, 亀岡弘和
  • Organizer: 日本音響学会 2015年秋季研究発表会, 3-6-10, pp. 583-586
  • Place of Presentation: 会津大学
  • Year and Date: 2015-09-16
• [Presentation] Relaxation of rank-1 spatial constraint in overdetermined blind source separation (2015)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • Organizer: The 2015 European Signal Processing Conference (EUSIPCO 2015)
  • Place of Presentation: Nice, France
  • Year and Date: 2015-08-31
  • Int'l Joint Research
• [Presentation] The 2015 signal separation evaluation campaign (2015)
  • Author(s): Nobutaka Ono, Zafar Rafii, Daichi Kitamura, Nobutaka Ito, Antoine Liutkus
  • Organizer: 12th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA 2015)
  • Place of Presentation: Liberec, Czech
  • Year and Date: 2015-08-25
  • Int'l Joint Research
• [Presentation] 多チャネル非負値行列因子分解におけるランク1空間モデルの音源分離性能評価 (2015)
  • Author(s): 北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋
  • Organizer: Proceedings of 107th IPSJ Special Interest Group on Music and Computer (IPSJ-SIGMUS), vol. 2015-MUS-107, no. 31
  • Place of Presentation: 電気通信大学
  • Year and Date: 2015-05-23
• [Presentation] Efficient multichannel nonnegative matrix factorization exploiting rank-1 spatial model (2015)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • Organizer: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 2015-04-19 – 2015-04-24
• [Presentation] Efficient multichannel nonnegative matrix factorization exploiting rank-1 spatial model (2015)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • Organizer: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015), pp. 276-280
  • Place of Presentation: Brisbane, Australia
  • Year and Date: 2015-04-19
  • Int'l Joint Research
• [Presentation] 過決定条件BSS におけるランク1 空間制約の緩和 (2015)
  • Author(s): 北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋
  • Organizer: 日本音響学会 2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス，東京
  • Year and Date: 2015-03-16 – 2015-03-18
• [Presentation] Efficient multichannel nonnegative matrix factorization with rank-1 spatial model (2014)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, Hiroshi Saruwatari
  • Organizer: 2014 Autumn Meeting of Acoustical Society of Japan
  • Place of Presentation: 北海学園大学豊平キャンパス，北海道，日本
  • Year and Date: 2014-09-03 – 2014-09-05
• [Book] Determined blind source separation with independent low-rank matrix analysis, Audio Source Separation, Shoji Makino, Eds. (2017)
  • Author(s): Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari
  • Total Pages: 31
  • Publisher: Springer
• [Book] Q11 ビームフォーミングって何ですか？, 日本音響学会編音響学入門ペディア (2017)
  • Author(s): 北村大地
  • Total Pages: 4
  • Publisher: コロナ社
• [Remarks] Demonstrations of Research
  • URL: http://d-kitamura.sakura.ne.jp/demo.htm
• [Remarks] Demonstrations of Research
  • URL: http://d-kitamura.sakura.ne.jp/en/demo_en.htm
• [Remarks] ランク1空間モデルを用いた効率的な多チャネルNMFによるブラインド音源分離
  • URL: http://d-kitamura.sakura.ne.jp/demo_rank1.htm