• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Singing voice synthesis that can form ensemble with humans and computers

Research Project

Project/Area Number 23K18474
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Tokyo

Principal Investigator

高道 慎之介  東京大学, 大学院情報理工学系研究科, 講師 (90784330)

Co-Investigator(Kenkyū-buntansha) 中村 友彦  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50866308)
深山 覚  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (90712191)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
猿渡 洋  東京大学, 大学院情報理工学系研究科, 教授 (30324974)
Project Period (FY) 2023-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Keywords歌声合成 / コーパス / 歌声相互作用
Outline of Research at the Start

本研究の目的は,人と人の歌唱相互作用の計算機的再現である.人間歌手同士が重唱する際,その各人は,好き勝手に歌唱するのではなく他人の歌声と調和するように自らの歌声を制御する.すなわち,人と人の歌唱の間には相互作用があり,その相互作用が,人と人から成る群による一体的な歌声と鑑賞体験をもたらす.他方,AI歌手(歌声合成機能を持つ計算機)は,その相互作用機能を有さない.人間歌手とAI歌手から成る群が歌唱する場合,人間歌手が一方的にAI歌手に合わせるほかない.また,AI歌手同士の群においては一切の相互作用が無い.故に本研究では,歌唱相互作用機能を持つ歌声合成技術を研究開発する.

Outline of Annual Research Achievements

本年度は (1) 重唱コーパスの拡充,(2) 重唱合成法の提案を行った.
(1) 重唱コーパスの拡充では,これまで構築した35曲の重唱コーパスの内容を拡充した.3ジャンル×5曲を追加し,合計50曲からなるコーパスを構築・公開した.
(2) 重唱合成法では,複数パートからなる重唱楽譜から,重唱歌声を人工的に合成する方法を提案した.人間の重唱が,楽譜における相互作用と音響レベルの相互作用に基づくことから,これらを再現するニューラルネットワークを提案した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

重唱合成のプロトタイプを提案できたため,妥当な進捗である.

Strategy for Future Research Activity

予定通り進行する

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (3 results)

All 2024 2023

All Presentation (3 results)

  • [Presentation] 複数のオーディオエフェクトが適用された楽音に対するエフェクトチェイン推定と原音復元2024

    • Author(s)
      武 伯寒 , 渡邉 研斗 , 中塚 貴之 , Tian Cheng , 中野 倫靖 , 後藤 真孝 , 高道 慎之介 , and 猿渡 洋
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] jaCappellaコーパスv2:重唱分離・合成のための日本語アカペラ重唱コーパスの拡張2023

    • Author(s)
      中村 友彦 , 高道 慎之介 , 丹治 尚子 , 深山 覚 , and 猿渡 洋
    • Organizer
      情報処理学会 音楽情報科学研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] 歌唱者間相互作用を再現するDNN重唱歌声合成の検討2023

    • Author(s)
      兵藤 弘明 , 高道 慎之介 , 中村 友彦 , 小口 純矢 , and 猿渡 洋
    • Organizer
      情報処理学会 音楽情報科学研究会
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-07-04   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi