2022 Fiscal Year Research-status Report
VOICE 2.0: towards augmentation of enriched speech communication
| Project/Area Number |
20KK0233
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (20242571)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
森田 翔太 福山大学, 工学部, 講師 (70780378)
|
|---|
| Project Period (FY) |
2020-10-27 – 2025-03-31
|
| Keywords | 音声コミュニケーション / エンリッチメント / 非言語情報 / 聴覚エンリッチメント / voice 2.0 / 音声了解度 |
|---|
| Outline of Annual Research Achievements |
本研究では，表現豊かな音声コミュニケーションを実現するために，音声の数理工学的な情報表現において，音声のエンリッチな情報を言語・非言語・パラ言語情報にそれぞれ分離し，それらを個別に制御することで，次の５点に関する音声エンリッチメント（VOICE 2.0）を実現する．課題① 言語情報におけるエンリッチメント，課題② 非言語情報（話者性）のエンリッチメント，課題③ 非言語情報（感情）のエンリッチメント，課題④ 非言語情報（声の質感）のエンリッチメント，課題⑤ パラ言語情報（緊迫感など）のエンリッチメント．本研究の期待するところは，音声の明瞭さや，感情，個人性，発話スタイルの変化といった声質をヒトのように高低・強弱の程度を制御して，音声コミュニケーションの付加価値を高めることにある．
2022年度は，前年度課題で検討した課題②について継続して実施した．この課題では，音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し，話者変換といったエンリッチメントを検討した．ここでは，話者の個人性情報を，McAdams係数を利用して制御することで話者秘匿化やプライバシー保護ができるか検討した．その結果，高い精度で秘匿可能であることを示した．次に課題③に取り組んだ．ここでは，音声の感情と変調知覚の関係を調査した．これまでに変調スペクトログラムの高次統計量を利用して感情知覚の関係を調べてきたが，すべての感情制御に共通する特徴（変調スペクトル尖度と変調スペクトル傾斜）があることを明らかにした．また，これらの特徴が雑音・残響に頑健であり，機械による感情音声認識にも有効であることも示した．最後に課題④に取り組んだ．ここでは，VoiceMOSチャレンジに参画し，音声の変調スペクトログラムに現れる特徴が音声の質評価に重要であることを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度は，計画どおり，前年度課題で検討した，音声の明瞭性と変調知覚の関係ならびに明瞭性と音声生成の関係に基づき，音声明瞭化といったエンリッチメントを検討した．また，音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し，話者秘匿や音声プライバシーの保護といったエンリッチメントも検討した．さらに，音声の感情や質感に関しても変調知覚との関係性に着目し，重要な音響特徴を検討した．今年度もコロナ禍でドレスデン工科大を訪問して実施できない課題もあるが，他の課題（緊迫感）についても先取りして検討に取りかかった．
|
| Strategy for Future Research Activity |
今年度もコロナ禍のため協働研究先であるドレスデン工科大を訪問して研究することができなかった．そのため，メールやオンラインミーティングを活用するなど，訪問できなくても協働研究を進められるところから手をつけた．次年度もコロナ禍の影響から，今後いつ頃に共同研究先であるドレスデン工科大を訪問できるか不明であるため，オンラインミーティングを活用して研究を継続していく．
|
| Causes of Carryover |
コロナ禍により計画通りに一部執行できなかったため．
繰り越し分については，当初計画案に沿って対応する予定である．
|
