| Project/Area Number |
23K24870
|
|---|
| Project/Area Number (Other) |
22H03614 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
徳田 恵一 名古屋工業大学, 工学(系)研究科(研究院), 教授 (20217483)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 佳 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10635907)
南角 吉彦 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2022: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
|
|---|
| Keywords | 深層学習 / 音声 / 生成モデル |
|---|
| Outline of Research at the Start |
従来型のデジタル信号処理理論は、音声・オーディオ信号処理関連の研究分野における最も根本的な考え方として広く普及・定着しているが、単純なモデル構造による制約のため、その性能には限界があった。本研究では、近年急速に技術革新が進んでいる深層学習に基づいた、音声波形の直接モデル化手法を俯瞰・整理した上で、更に従来手法の長所をも併せもった、次世代の標準形となりうる音声波形生成手法の確立を目指すものである。
|
| Outline of Annual Research Achievements |
従来型のデジタル信号処理理論は、音声・オーディオ信号処理関連の研究分野における最も根本的な考え方として広く普及・定着しているが、単純なモデル構造による制約のため、その性能には限界があった。本研究では、深層学習に基づいて信号モデルを構成することにより、新しい形の音声信号生成技術を確立し、音声合成、音声符号化、声質変換、更には楽器音等のオーディオ音声信号生成への応用により、その有効性を検証することを目的とする。特に、多視点的・俯瞰的な観点から、音声波形生成に適したモデル構造を探求するとともに、「従来型モデル構造の部分導入」および「学習データ拡張による制御構造の内在化」のふたつのアプローチにより、従来型の音声波形生成手法の利点である「軽量性」、「制御性」を兼ね備えたモデル構造を明らかにすることを目指す。
本年度は、昨年度に引き続き、微分可能な形の従来型の信号処理モジュールをニューラルネットワークモデルと組み合わせながら、End2endに学習可能な手法について検討を進めるとともに、理論および公開したソフトウェアについて国際会議で複数の発表を行った。
また、基本周波数の制御性に着目した音声波形生成法について、(1) 相互情報量に基づいて基本周波数成分を分離する手法、(2) 学習時に基本周波数に摂動を加えGANにより評価する手法、(3) 確率拡散モデルにおいて周期信号を補助特徴とする手法の3つを提案した。
ニューラルネットを周期信号で励振する形の音声波形生成手法については、励振信号の周期波形生成法について検討を行い、多くの知見を得ることができた。
更に、VAE形式で音声波形を生成する新しい形の手法を提案し、有効性を検証した。
また、並行して「学習データ拡張による制御構造の内在化」に関しても昨年度に引き続き、いくつかの方式について検討を進め、他手法との比較を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画通りに研究を進行させるだけでなく、特に「従来型モデル構造の部分導入」については、目論見通り「軽量性」を実現するだけでなく、高度な「制御性」を維持しながら、高品質な合成音声を生成可能な方式を提案することができた。成果については、理論だけでなく公開したオープンソース・ソフトウェアについても関連分野トップカンファレンスおよびワークショップにて発表を行った。
また、それぞれ独自の特徴をもつ、新しい形の音声波形生成手法を複数提案し、トップカンファレンスを含む、国内外の学会で発表を行うことができた。
このため、当初の計画以上に進展していると言える。
|
| Strategy for Future Research Activity |
昨年度までに、多視点的・俯瞰的な観点（具体的には、「音声品質」、「計算量/モデルサイズ」、「並列計算時間」等の9つの観点）から、音声生成に適した深層学習モデル構造について検討を進めた。特に「従来型モデル構造の部分導入」について、従来型のモデルの利点である「軽量性」、「制御性」を維持しながら、高品質な合成音声が得られる手法を複数提案した。
本年度は、昨年度までに「従来型モデル構造の部分導入」について期待以上の多くの成果が得られたことから、本アプローチを軸に「学習データ拡張による制御構造の内在化」との融合を図る。また、「音声合成・歌声合成」、「音声符号化」、「声質変換」の主要応用分野だけでなく、一般の音響信号についても検討を進める。
昨今、ネット上から収集されたデータを学習に利用した画像、音声、テキスト等の生成AIについて、データ提供者の権利の問題、あるいはフェイク動画等のなりすましの問題などとして議論されることが多い。本研究では、必要に応じて音声データの利用に際しては、これまで通り、本研究の趣旨に合致した内容とすると共に、個人情報の取り扱い、データ提供者の各種権利等について整合性のある形とするよう十分注意する。
|
