| Project/Area Number |
23K18491
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
MAWALIM CandyOlivia 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (10963720)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
|
|---|
| Project Period (FY) |
2023-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2023: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 音声プライバシー保護 / 音声匿名化 / 音声秘匿化 / スペクトル変調・振幅変調分析 / 音声セキュリティ |
|---|
| Outline of Research at the Start |
AI音声アシスタント技術の普及により，音声そのものがビッグデータとして直接，利活用されている．そのため，話者識別技術が悪用されることで，本人の意思によらずに勝手に収集された音声から個人が特定され，その情報に紐づく個人情報からプライバシーが侵害される深刻で喫緊な問題が生じている．本研究では，このような課題に対し，音声に含まれる個人性・感情といった非言語情報をスペクトル変調・時間変調（STM）情報で独立に操作することで音声を匿名化・秘匿化する技術の確立を試みる．特に，機械による話者識別だけでなく人の音声知覚の観点から音声を匿名化・秘匿化できる革新的な音声信号処理技術の確立を目指す．
|
| Outline of Annual Research Achievements |
本研究では，AIを活用した話者識別だけでなく，人の音声知覚の観点から，音声の匿名化・秘匿化を検討する．そのため，二つの大きな研究課題：(i) 個人性や感情といった非言語情報の知覚に直接関与する音響特徴の抽出と(ii) これらの特徴を利用した匿名化・秘匿化を可能とする音声信号処理体系の確立に取り組む．特に，音声から個人性・感情といった非言語情報がスペクトル変調・時間変調（STM）情報にてどのように特徴づけられるか定量化する．さらにこの定量化から設計された振幅変調・スペクトル変調フィルタリングにより，これらを強調・抑圧操作することで音声の匿名化・秘匿化を実現する．総合評価に関しては，関連する国際研究プロジェクトVoicePrivacyで提供されているベースライン法や音声データコーパス，客観評価基準（EERなど）を活用する．
2023年度は，計画に沿って次の項目を実施した．(1) STM情報を利用した音声信号処理の体系化を行った．ここでは，音の振幅包絡線情報からSTM分析による特徴表現までの一連の処理体系を，聴覚フィルタバンク，Hilbert変換による包絡線情報の抽出，2次元周波数分析によるSTM分析のシーケンシャルな処理ととらえ，MATLABを利用して実装した．(2) この方法を利用し，STM情報における非言語情報の表出と特徴抽出の検討を行った．特に，背景音から目的音を探索するときの両者のSTM情報の違いを調査した結果，目的音検知にSTM上の違いが重要であることを明らかにした．(3) 音声の匿名化手法を検討するため，Linear Predictionに基づいたスペクトル拡散法による秘匿情報のハイディング法に音響心理モデルの組み込みを検討した．その結果，知覚不可能な形での情報秘匿とスペクトル拡散により頑健な秘匿情報の検出の両方を同時に実現することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，研究代表者である鵜木が，全体を統括し，STM情報を利用した音声信号処理体系の確立を目指す予定であった．また，研究分担者の木谷は，STM情報における非言語情報の表出と特徴抽出の検討を行い，研究分担者のMawalimは，音声の匿名化手法の構築を，特に話者識別システムの構築と非言語情報の特徴抽出法の構築を行う予定であった．前述したように，これらの計画に沿って3つの研究課題（STM処理体系の確立，STMにおける特徴表現，音声秘匿化）に着手でき，進捗をあげることができた．そのため，(2)の区分であると判断した．
|
| Strategy for Future Research Activity |
2024年度は，非言語情報の操作と音声の匿名化・秘匿化の実現を目指す予定である．ここでは，音声の秘匿化手法を構築し，特に話者識別の客観評価実験を実施する．また，音声の匿名化・秘匿化に関する主観評価実験を実施する．研究期間の後半は，総合評価をする時間で占められる可能性が高いため，研究機関の前半に音声秘匿化を構築し，洗練化する時間をとれるよう，研究代表者・分担者で綿密な打合せを実施することで，円滑に協働作業を進めることで研究を推進させる．
|
