| 研究課題/領域番号 |
20H04207
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 北陸先端科学技術大学院大学 |
|---|
研究代表者 |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (20242571)
|
|---|
| 研究分担者 |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2023年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2022年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2021年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2020年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
|
|---|
| キーワード | パラ言語情報 / 非言語情報 / 音声変換 / 非並行型学習 / 個人性 |
|---|
| 研究開始時の研究の概要 |
本研究では，音声変換（VC）による話者性操作を目指して，(1) 多言語間でのVCのための非並行型学習法の提案，(2) この学習法にもとづいた多数話者間の属性変換システムの構築を行う。具体的な課題は，(a) VCのSource言語とTarget言語が異なる場合の話者情報表現，(b) 誰でも話者となりえるシステムとするための多話者対多話者属性変換，(c) 未学習話者の使用を想定した場合の話者特徴の記述法，(d) 変換後の合成音声の品質・了解度の保証，である。これらの課題すべてを深層学習の枠組みで検討したうえで，適切な目的関数を設定することにより全体を最適化することを試みる。
|
| 研究成果の概要 |
本研究では，音声変換（Voice Conversion: VC）による多言語音声へのパラ言語・非言語情報付加を最終目標として設定し，その中心課題の一つである話者性操作を目指して，多言語間での非並行型学習法の提案およびこの学習法にもとづいた多数話者間の属性変換システムの構築を検討する。具体的には，(A) VCのソース言語とターゲット言語が異なる場合の話者情報の扱い方，(B) 多話者対多話者属性変換，(C) 未学習話者を想定した場合の話者特徴の記述法，(D) 変換後の音声の品質・了解度保証である。これらすべてを深層学習の枠組みで検討し，適切な目的関数を設定することにより全体を最適化する。
|
| 研究成果の学術的意義や社会的意義 |
話者のパラ言語および非言語情報を抽出し合成音声に付加することができる音声-音声翻訳のための多言語間音声変換システムを開発するために，その第一歩として，非言語情報の一つである話者属性（性別，年齢，声質等）の自由な変換操作を目指して，多言語間での音声変換のための非並行型学習法を提案し，これにもとづいた変換システムを検討する。これにより，ある言語で話をした話者の声と同じ声質で別の言語の音声を合成できる，しかも使用言語および使用話者を選ばないシステムの構築が可能となり，入力音声に含まれる話者属性を出力音声でも維持できることで，コミュニケーションの質を向上させることができる。
|
