• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Voice information-hiding/anonymization technology for voice privacy protection

Research Project

Project/Area Number 23K18491
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionJapan Advanced Institute of Science and Technology

Principal Investigator

鵜木 祐史  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)

Co-Investigator(Kenkyū-buntansha) MAWALIM CandyOlivia  北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (10963720)
木谷 俊介  北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
Project Period (FY) 2023-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2023: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywords音声プライバシー保護 / 音声匿名化 / 音声秘匿化 / スペクトル変調・振幅変調分析 / 音声セキュリティ
Outline of Research at the Start

AI音声アシスタント技術の普及により,音声そのものがビッグデータとして直接,利活用されている.そのため,話者識別技術が悪用されることで,本人の意思によらずに勝手に収集された音声から個人が特定され,その情報に紐づく個人情報からプライバシーが侵害される深刻で喫緊な問題が生じている.本研究では,このような課題に対し,音声に含まれる個人性・感情といった非言語情報をスペクトル変調・時間変調(STM)情報で独立に操作することで音声を匿名化・秘匿化する技術の確立を試みる.特に,機械による話者識別だけでなく人の音声知覚の観点から音声を匿名化・秘匿化できる革新的な音声信号処理技術の確立を目指す.

Outline of Annual Research Achievements

本研究では,AIを活用した話者識別だけでなく,人の音声知覚の観点から,音声の匿名化・秘匿化を検討する.そのため,二つの大きな研究課題:(i) 個人性や感情といった非言語情報の知覚に直接関与する音響特徴の抽出と(ii) これらの特徴を利用した匿名化・秘匿化を可能とする音声信号処理体系の確立に取り組む.特に,音声から個人性・感情といった非言語情報がスペクトル変調・時間変調(STM)情報にてどのように特徴づけられるか定量化する.さらにこの定量化から設計された振幅変調・スペクトル変調フィルタリングにより,これらを強調・抑圧操作することで音声の匿名化・秘匿化を実現する.総合評価に関しては,関連する国際研究プロジェクトVoicePrivacyで提供されているベースライン法や音声データコーパス,客観評価基準(EERなど)を活用する.
2023年度は,計画に沿って次の項目を実施した.(1) STM情報を利用した音声信号処理の体系化を行った.ここでは,音の振幅包絡線情報からSTM分析による特徴表現までの一連の処理体系を,聴覚フィルタバンク,Hilbert変換による包絡線情報の抽出,2次元周波数分析によるSTM分析のシーケンシャルな処理ととらえ,MATLABを利用して実装した.(2) この方法を利用し,STM情報における非言語情報の表出と特徴抽出の検討を行った.特に,背景音から目的音を探索するときの両者のSTM情報の違いを調査した結果,目的音検知にSTM上の違いが重要であることを明らかにした.(3) 音声の匿名化手法を検討するため,Linear Predictionに基づいたスペクトル拡散法による秘匿情報のハイディング法に音響心理モデルの組み込みを検討した.その結果,知覚不可能な形での情報秘匿とスペクトル拡散により頑健な秘匿情報の検出の両方を同時に実現することができた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は,研究代表者である鵜木が,全体を統括し,STM情報を利用した音声信号処理体系の確立を目指す予定であった.また,研究分担者の木谷は,STM情報における非言語情報の表出と特徴抽出の検討を行い,研究分担者のMawalimは,音声の匿名化手法の構築を,特に話者識別システムの構築と非言語情報の特徴抽出法の構築を行う予定であった.前述したように,これらの計画に沿って3つの研究課題(STM処理体系の確立,STMにおける特徴表現,音声秘匿化)に着手でき,進捗をあげることができた.そのため,(2)の区分であると判断した.

Strategy for Future Research Activity

2024年度は,非言語情報の操作と音声の匿名化・秘匿化の実現を目指す予定である.ここでは,音声の秘匿化手法を構築し,特に話者識別の客観評価実験を実施する.また,音声の匿名化・秘匿化に関する主観評価実験を実施する.研究期間の後半は,総合評価をする時間で占められる可能性が高いため,研究機関の前半に音声秘匿化を構築し,洗練化する時間をとれるよう,研究代表者・分担者で綿密な打合せを実施することで,円滑に協働作業を進めることで研究を推進させる.

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (6 results)

All 2024 2023

All Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (4 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] Study on Inaudible Speech Watermarking Method Based on Spread-Spectrum Using Linear Prediction Residue2024

    • Author(s)
      Aulia Adila, Candy Olivia Mawalim, Takuto Isoyama, Masashi Unoki
    • Journal Title

      Proc. NCSP24

      Volume: - Pages: 55-58

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] A Survey of Audio Classification Using Deep Learning2023

    • Author(s)
      Zaman Khalid、Sah Melike、Direkoglu Cem、Unoki Masashi
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 106620-106649

    • DOI

      10.1109/access.2023.3318015

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Study on Inaudible Speech Watermarking Method Based on Spread-Spectrum Using Linear Prediction Residue2024

    • Author(s)
      Aulia Adila, Candy Olivia Mawalim, Takuto Isoyama, Masashi Unoki
    • Organizer
      2024 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (Hawaii, USA)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Spectro-Temporal Modulation 情報を用いた背景音から目的音の検知されやすさの予測の検討2024

    • Author(s)
      堀口遼太郎,木谷俊介,鵜木祐史
    • Organizer
      日本音響学会2024年春季研究発表会(拓殖大学)
    • Related Report
      2023 Research-status Report
  • [Presentation] 目的音と背景音の検知されやすい関係についてのSpectro-Temporal Modulation 情報を用いた検討2024

    • Author(s)
      堀口遼太郎,木谷俊介,鵜木祐史
    • Organizer
      日本音響学会聴覚研究会(那覇)
    • Related Report
      2023 Research-status Report
  • [Presentation] Audio/Speech Information Hiding Based on Human Auditory Characteristics2023

    • Author(s)
      Masashi Unoki
    • Organizer
      2023 2nd International Conference on Advances in Information and Communication Technology (Thai Nguyen, Vietnam)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited

URL: 

Published: 2023-07-04   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi