| 研究課題/領域番号 |
24K21324
|
|---|
| 研究種目 |
挑戦的研究(開拓)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352)
|
|---|
| 研究期間 (年度) |
2024-06-28 – 2027-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
25,870千円 (直接経費: 19,900千円、間接経費: 5,970千円)
2026年度: 8,710千円 (直接経費: 6,700千円、間接経費: 2,010千円)
2025年度: 8,580千円 (直接経費: 6,600千円、間接経費: 1,980千円)
2024年度: 8,580千円 (直接経費: 6,600千円、間接経費: 1,980千円)
|
|---|
| キーワード | 音声情報処理 / プライバシー / 匿名化 / 生成データ / 音声データセット / 公平性 / 目標話者抽出 / Voice Privacy Challenge / 生成モデル |
|---|
| 研究開始時の研究の概要 |
本研究ではリアル音声データセットに近いデータセットそのものを「生成」するメタ機械学習法の実現に取り組む。 具体的には、(1)個人のプライバシー保護が適切になされ、(2)データバイアスと公平性も改善され、(3)リアル音声データセットに近い有用性も有する大規模音声データセットを生成する方法を探求し、評価する。具体的には、音声データセットのエンコーダ・デコーダモデル、音声の話者性に加え、センシティブな属性（発話内容、アクセント、年齢、性別等）に対してもプライバシー保護を行う手法、そして生成データセットの有用性を測る代表的利用タスク（音声認識・話者認識・性別認識等）における公平性に関して研究を行う。
|
| 研究実績の概要 |
深層学習が成功した理由の一つは巨大データの利用である。音声データセットとして必要になる学習データ量も増加の一途を辿っている。大規模データは通常ウェブから収集される事が多く、本人同意がなく収集が行われるため、倫理・プライバシー・法律的な懸念を多く伴う。そこで本研究ではリアル音声データセットに近いデータセットそのものを「生成」するメタ機械学習法の実現に取り組む。 具体的には、(1)個人のプライバシー保護が適切になされ、(2)データバイアスと公平性も改善され、(3)リアル音声データセットに近い有用性も有する大規模音声データセットを生成する方法を探求する。具体的には、音声データセットのエンコーダ・デコーダモデル、音声の話者性に加え、センシティブな属性（発話内容、アクセント、年齢、性別等）に対してもプライバシー保護を行う手法、そして生成データセットの有用性を測る代表的利用タスク（音声認識・話者認識・性別認識等）における公平性に関して研究を行う。
本年度は、音声データセット中に含まれる、発話、話者情報、性別等の属性情報を潜在変数としてエンコードし、そして、話者情報をk匿名化する事で、新しい人工データセットを自動生成する手法の改良に取り組んだ。具体的には、現在の話者匿名化手法は音声データセット中の一部の言語の有用性を下げてしまうという問題を発見し、この原因が話者匿名化手法において利用されている基盤モデルにある事を特定し、基盤モデルを多言語化することで問題の起きていた言語における生成データの有用性を向上させる事が可能である事を示しその成果を論文投稿した。さらに、生成データセットの有用性を測る新たなタスクとして混合音から参照音を利用して目標話者のみを抽出するTarget speaker extractionに新たに着目し、妨害話者として生成話者を活用でき、話者分離性能を改善できる事を確認した。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
当初の計画通り、音声データセットのエンコーダ・デコーダモデルを改良をする事ができ、匿名化音声の有用性を保つ事が適切に出来ていなかった一部の言語（日本語・中国語を含む）の生成音声の有用性を改善する事ができた。これは生成データセットを利用したタスクにおける言語の公平性の改善をもたらすものである。
また生成データセットの有用性を測るタスクを増やし、混合音から参照音を利用して目標話者のみを抽出するTarget speaker extractionににおいても生成データセットが有用である事も新たに示した。
音声の話者性に加え、センシティブな属性（発話内容、アクセント、年齢、性別等）に対してもプライバシー保護を行い、音声データセット生成を行う手法の検討は来年度行う計画である。
|
| 今後の研究の推進方策 |
2025年度は以下の３課題に取り組む。
【課題１：音声データセット生成のための機械学習】第一に音声データセットそのものを「生成」するエンコーダ・デコーダモデルの機械学習の性能向上が必要不可欠である。具体的には、まず、生成された音声の品質を高めることで生成データセットの有用性を高める。これまで音声波形生成にはHiFi-GANボコーダを利用してきたが、これを拡散モデルベースのボコーダに起きかえ、自然性の向上を狙う。次に、拡散モデルのボコーダのサンプリングプロセスを改良しサンプリングプロセスを明示的にガイドする事で、学習データの平均的な特徴が多く生成される事を回避し、より多様でかつ公平な音声データセットになる方法を検討する。この方法は学習データにバイアスがある場合にも有効であると期待される。
【課題２：生成データセットのプラバシー保護】第二に、音声の話者情報以外のセンシティブな属性（アクセント、年齢、性別等）にも着目し適切な変換処理を行い、これらの属性が再識別攻撃により特定されてしまうリスクを減らす。具体的には、我々が開発してきた音声を言語・話者性・抑揚に分解し、話者成分のみに匿名化処理を更に発展させ、音声の話者性以外のセンシティブな属性に対しても選択的にプライバシー保護を行う手法を提案する。この研究はフランス国立情報学自動制御研究所と共同して行う予定である。匿名化された音声の属性を再識別する攻撃手法に関しても比較検討を行う。
【課題３：生成データセットを利用した音声モデルの評価】生成データセットを用いて構築したダウンストリームモデルとして、2025年度も引き続き目標話者抽出に着目する。2024年度では目標話者が1名、妨害話者が1名のシナリオを検討したが、これを発展させ、妨害話者が2名以上のシナリオも考え、生成データセットの有用性を評価する。
|
