• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

スモールデータ機械学習理論に基づく音響拡張現実感及び音コミュニケーション能力拡張

Research Project

Project/Area Number 19H01116
Research InstitutionThe University of Tokyo

Principal Investigator

猿渡 洋  東京大学, 大学院情報理工学系研究科, 教授 (30324974)

Co-Investigator(Kenkyū-buntansha) 北村 大地  香川高等専門学校, 電気情報工学科, 講師 (40804745)
中村 友彦  東京大学, 大学院情報理工学系研究科, 特任助教 (50866308)
牧野 昭二  早稲田大学, 理工学術院(情報生産システム研究科・センター), 特任教授 (60396190)
小山 翔一  東京大学, 大学院情報理工学系研究科, 講師 (80734459)
高道 慎之介  東京大学, 大学院情報理工学系研究科, 助教 (90784330)
Project Period (FY) 2019-04-01 – 2023-03-31
Keywordsスモールデータ / 機械学習 / 音響拡張現実感
Outline of Annual Research Achievements

(1)センシング・解析レイヤー:2020年度までに検討した時変複素スチューデントt分布・一般化ガウス分布音源生成確率モデルを基礎とするIDLMAに関し、音源モデルに事前分布を仮定し、そのパラメータも深層学習で推論する経験ベイズの枠組みを導入した。また、提案手法の定量的な評価を行った。
(2)時空間情報再構成レイヤー:無数の拡散性音源・雑音が存在する場合を考慮するため、フルランク空間モデル推定問題を想定した。これをより高精度かつ高速に実装するため、ILRMAで求められた雑音ランク1空間モデルをMajorization-Equalization (ME) アルゴリズムによる尤度最大化によってフルランクへ拡張する理論を構築し、実環境データで評価を行った。
(3)ユーザインターフェイスレイヤー:音声合成に関し、従来のDNNが要求するような教師有り学習用ビッグデータをどこまでスモールなものに出来るかを検証するため、言語モデルによる「先読み」を導入したインクリメンタルな処理を実装し、その有効性を定量化した(本成果はIEICE論文誌に掲載され、2021年度の論文賞を受賞した)。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

全てのレイヤーについて目標を既に達成している。また、特筆すべき点として、時空間情報再構成レイヤーにおいて、その最適化アルゴリズムの更なる高速化として、従来のMMアルゴリズムを更に発展させたME アルゴリズムに基づく手法の開発及び評価が完了しており、当初の計画以上に進展していると言える。

Strategy for Future Research Activity

(1)センシング・解析レイヤー:2021年度までに提案した事前分布仮定型IDLMAに関し、学習データとテストデータの差異を吸収するため、それを教師有りモデルと教師無しモデルの混合で表現する半教師有り(Product of Priors: PoP)型IDLMAへ拡張する。
(2)時空間情報再構成レイヤー:無数の拡散性音源・雑音が存在する場合を考慮するため、フルランク空間モデル推定問題の解法を拡張する。特に今までのMEアルゴリズムにおいては単変量の場合しか検討されていないため、これを多変量(ベクトル変数)版へ拡張し、その有効性を確認する。
(3)ユーザインターフェイスレイヤー:本レイヤーの最終出力となる立体音響拡張現実感に関して、より柔軟な音場推定理論を構築し、その評価を行う。特に、カーネルリッジ回帰などを用いた音場の推定・補間理論を導入し、受聴者が任意の位置で所望の音像を得られる理論の検討を行う。

  • Research Products

    (25 results)

All 2022 2021

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (21 results) (of which Int'l Joint Research: 6 results,  Invited: 1 results)

  • [Journal Article] DNN-based low-musical-noise single-channel speech enhancement based on higher-order-moments matching2021

    • Author(s)
      Satoshi Mizoguchi, Yuki Saito, Shinnosuke Takamichi, Hiroshi Saruwatari
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: VOL.E104-D, NO.11 Pages: 1971-1980

    • DOI

      10.1587/transinf.2021EDP7041

    • Peer Reviewed / Open Access
  • [Journal Article] Joint-diagonalizability-constrained multichannel nonnegative matrix factorization based on time-variant multivariate complex sub-Gaussian distribution2021

    • Author(s)
      Keigo Kamo, Yoshiki Mitsui, Yuki Kubo, Norihiro Takamune, Daichi Kitamura, Hiroshi Saruwatari, Yu Takahashi, Kazunobu Kondo
    • Journal Title

      Signal Processing

      Volume: Volume 188 Pages: 10pages

    • DOI

      10.1016/j.sigpro.2021.108183

    • Peer Reviewed / Open Access
  • [Journal Article] Time-Domain Audio Source Separation with Neural Networks Based on Multiresolution Analysis2021

    • Author(s)
      Tomohiko Nakamura, Shihori Kozuka, Hiroshi Saruwatari
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: vol. 29 Pages: 1687-1701

    • DOI

      10.1109/TASLP.2021.3072496

    • Peer Reviewed / Open Access
  • [Journal Article] Time-frequency-bin-wise linear combination of beamformers for distortionless signal enhancement2021

    • Author(s)
      Kouei Yamaoka, Nobutaka Ono, Shoji Makino
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: vol. 29 Pages: 3461-3475

    • DOI

      10.1109/TASLP.2021.3126950

    • Peer Reviewed / Open Access
  • [Presentation] 解像度の異なる複数の時間周波数表現を用いた独立低ランク行列分析2022

    • Author(s)
      細谷泰稚, 北村大地, 矢田部浩平
    • Organizer
      日本音響学会 2022年春季研究発表会
  • [Presentation] Speaking Rate Control by HiFi-GAN using Feature Interpolation2022

    • Author(s)
      Detai Xin, Shinnosuke Takamichi, Takuma Okamoto, Hisashi Kawai, Hiroshi Saruwatari
    • Organizer
      音声言語情報処理研究会(IPSJ-SLP)
  • [Presentation] 画像文字からの音声合成2022

    • Author(s)
      中野嘉文,佐伯高明,高道慎之介,須藤克仁,猿渡洋
    • Organizer
      言語処理学会2022年年次大会
  • [Presentation] 深層学習に基づく周波数帯域予測による高速音源分離法の実験的評価2021

    • Author(s)
      渡辺瑠伊, 北村大地, 中村友彦, 猿渡洋, 高橋祐, 近藤多伸
    • Organizer
      第24回 日本音響学会関西支部 若手研究者交流研究発表会
  • [Presentation] 深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化2021

    • Author(s)
      渡辺 瑠伊, 北村 大地, 中村 友彦, 猿渡 洋, 高橋 祐, 近藤 多伸
    • Organizer
      日本音響学会 2021年秋期研究発表会
  • [Presentation] Teacher-student learning for low-latency online speech enhancement using wave-U-net2021

    • Author(s)
      Sotaro Nakaoka, Li Li, Shota Inoue, Shoji Makino
    • Organizer
      The 46th International Conference on Acoustics, Speech, and Signal Processing (ICASSP2021)
    • Int'l Joint Research
  • [Presentation] Independent Deeply Learned Tensor Analysis for Determined Audio Source Separation2021

    • Author(s)
      Naoki Narisawa, Rintaro Ikeshita, Norihiro Takamune, Daichi Kitamura, Tomohiko Nakamura, Hiroshi Saruwatari, Tomohiro Nakatani
    • Organizer
      European Signal Processing Conference (EUSIPCO 2021)
    • Int'l Joint Research
  • [Presentation] Empirical Bayesian Independent Deeply Learned Matrix Analysis For Multichannel Audio Source Separation2021

    • Author(s)
      Takuya Hasumi, Tomohiko Nakamura, Norihiro Takamune, Hiroshi Saruwatari, Daichi Kitamura, Yu Takahashi, Kazunobu Kondo
    • Organizer
      European Signal Processing Conference (EUSIPCO 2021)
    • Int'l Joint Research
  • [Presentation] Prior distribution design for music bleeding-sound reduction based on nonnegative matrix factorization2021

    • Author(s)
      Yusaku Mizobuchi, Daichi Kitamura, Tomohiko Nakamura, Hiroshi Saruwatari, Yu Takahashi, Kazunobu Kondo
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2021 (APSIPA ASC 2021)
    • Int'l Joint Research
  • [Presentation] Speech enhancement by noise self-supervised rank-constrained spatial covariance matrix estimation via independent deeply learned matrix analysis2021

    • Author(s)
      Sota Misawa, Norihiro Takamune, Tomohiko Nakamura, Daichi Kitamura, Hiroshi Saruwatari, Masakazu Une, and Shoji Makino
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2021 (APSIPA ASC 2021)
    • Int'l Joint Research
  • [Presentation] Multichannel Audio Source Separation with Independent Deeply Learned Matrix Analysis Using Product of Source Models2021

    • Author(s)
      Takuya Hasumi, Tomohiko Nakamura, Norihiro Takamune, Hiroshi Saruwatari, Daichi Kitamura, Yu Takahashi, Kazunobu Kondo
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2021 (APSIPA ASC 2021)
    • Int'l Joint Research / Invited
  • [Presentation] Mean-Square-Error-Based Secondary Source Placement in Sound Field Synthesis With Prior Information on Desired Field2021

    • Author(s)
      Keisuke Kimura, Shoichi Koyama, Natsuki Ueno, Hiroshi Saruwatari
    • Organizer
      IEEE Workshop on Applications of Signal Processing to Audio and Acoustics(WASPAA)
  • [Presentation] 多変量一般化Gauss分布に基づくランク制約付き空間共分散行列推定法における雑音欠落ランク空間基底推定2021

    • Author(s)
      近藤 祐斗,久保優騎,高宗 典玄,北村 大地,猿渡 洋
    • Organizer
      日本音響学会2021秋季研究発表会
  • [Presentation] Product of Priors型確率分布を導入した音源モデルに基づく独立深層学習行列分析による多チャネル音源分離2021

    • Author(s)
      蓮実拓也,中村友彦,高宗典玄,猿渡洋,北村大地,高橋祐,近藤多伸
    • Organizer
      日本音響学会2021秋季研究発表会
  • [Presentation] ヘビーテイル生成モデルに基づく独立深層学習テンソル分析2021

    • Author(s)
      成澤 直輝,池下 林太郎,高宗 典玄,北村 大地,中村 友彦,猿渡 洋,中谷 智広
    • Organizer
      日本音響学会2021秋季研究発表会
  • [Presentation] 独立深層学習行列分析を用いたランク制約付き空間共分散行列推定による音声強調2021

    • Author(s)
      三澤 颯大,中村 友彦,高宗 典玄,北村 大地,猿渡 洋
    • Organizer
      日本音響学会2021秋季研究発表会
  • [Presentation] ドメイン適応と話者一致損失を用いた話者適応によるクロスリンガル音声合成2021

    • Author(s)
      辛 徳泰,齋藤 佑樹,高道 慎之介,郡山 知樹,猿渡 洋
    • Organizer
      日本音響学会2021秋季研究発表会
  • [Presentation] Low-overlap window を用いたオンラインWave-U-Net のアルゴリズム遅延の削減2021

    • Author(s)
      中岡想太郎, 李莉, 牧野昭二, 山田武志
    • Organizer
      日本音響学会2021秋季研究発表会
  • [Presentation] 非負値行列因子分解を導入したproduct of experts型音源モデルに基づく独立深層学習行列分析による多チャネル音源分離2021

    • Author(s)
      蓮実拓也,中村友彦,高宗典玄,猿渡洋,北村大地,高橋祐,近藤多伸
    • Organizer
      第131回音楽情報科学研究会
  • [Presentation] 多重解像度深層分析を用いた楽音分離の実験的評価2021

    • Author(s)
      中村 友彦,猿渡 洋
    • Organizer
      音学シンポジウム2021
  • [Presentation] 非負値行列因子分解を用いた被り音の抑圧2021

    • Author(s)
      溝渕 悠朔, 北村 大地, 中村 友彦, 猿渡 洋, 高橋 祐, 近藤 多伸
    • Organizer
      第132回音楽情報科学研究会

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi