Singing voice synthesis that can form ensemble with humans and computers
| Project/Area Number |
23K18474
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
高道 慎之介 東京大学, 大学院情報理工学系研究科, 講師 (90784330)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 友彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50866308)
深山 覚 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (90712191)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
|
|---|
| Project Period (FY) |
2023-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
|
|---|
| Keywords | 歌声合成 / コーパス / 歌声相互作用 |
|---|
| Outline of Research at the Start |
本研究の目的は,人と人の歌唱相互作用の計算機的再現である.人間歌手同士が重唱する際,その各人は,好き勝手に歌唱するのではなく他人の歌声と調和するように自らの歌声を制御する.すなわち,人と人の歌唱の間には相互作用があり,その相互作用が,人と人から成る群による一体的な歌声と鑑賞体験をもたらす.他方,AI歌手(歌声合成機能を持つ計算機)は,その相互作用機能を有さない.人間歌手とAI歌手から成る群が歌唱する場合,人間歌手が一方的にAI歌手に合わせるほかない.また,AI歌手同士の群においては一切の相互作用が無い.故に本研究では,歌唱相互作用機能を持つ歌声合成技術を研究開発する.
|
| Outline of Annual Research Achievements |
本年度は (1) 重唱コーパスの拡充，(2) 重唱合成法の提案を行った．
(1) 重唱コーパスの拡充では，これまで構築した35曲の重唱コーパスの内容を拡充した．3ジャンル×5曲を追加し，合計50曲からなるコーパスを構築・公開した．
(2) 重唱合成法では，複数パートからなる重唱楽譜から，重唱歌声を人工的に合成する方法を提案した．人間の重唱が，楽譜における相互作用と音響レベルの相互作用に基づくことから，これらを再現するニューラルネットワークを提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
重唱合成のプロトタイプを提案できたため，妥当な進捗である．
|
| Strategy for Future Research Activity |
予定通り進行する
|
Report
(1 results)
Research Products
(3 results)
