2021 Fiscal Year Research-status Report
VOICE 2.0: towards augmentation of enriched speech communication
| Project/Area Number |
20KK0233
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (70635367)
森田 翔太 福山大学, 工学部, 講師 (70780378)
|
|---|
| Project Period (FY) |
2020-10-27 – 2025-03-31
|
| Keywords | 音声コミュニケーション / エンリッチメント / 非言語情報 / 聴覚エンリッチメント / voice 2.0 / 音声了解度 |
|---|
| Outline of Annual Research Achievements |
現在，Society 5.0を目指した音声情報処理は，AI技術革新の恩恵を受け，飛躍的に進歩している．合成音声の音質は人間のものに肉薄しているが，音声コミュニケーションの本質である，話し手の情動や意図，態度といった表現豊かな音声合成には至っていない．本研究では，ヒトの音声知覚・生成メカニズムに着目し，データサイエンスとの有機的結合を図ることで，エンリッチな音声コミュニケーションの拡張（VOICE 2.0）を目指す．本研究の期待するところは，音声の明瞭さや，感情，個人性，発話スタイルの変化といった声質をヒトのように高低・強弱の程度を制御して，音声コミュニケーションの付加価値を高めることにある．
本研究では，表現豊かな音声コミュニケーションを実現するために，音声の数理工学的な情報表現において，音声のエンリッチな情報を言語・非言語・パラ言語情報にそれぞれ分離し，それらを個別に制御することで，次の５点に関する音声エンリッチメントを実現する．課題① 言語情報におけるエンリッチメント，課題② 非言語情報（話者性）のエンリッチメント，課題③ 非言語情報（感情）のエンリッチメント，課題④ 非言語情報（声の質感）のエンリッチメント，課題⑤ パラ言語情報（緊迫感など）のエンリッチメント．
2021年度は，前年度課題で検討した課題①について，音声の明瞭性と変調知覚の関係ならびに明瞭性と音声生成の関係に基づき，音声明瞭化といったエンリッチメントを検討した．ここでは，テキスト音声合成方式において，変調スペクトル特徴を加えることにより明瞭性の向上や表現豊かな音声合成の実現性を検討した．課題②では，音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し，話者変換といったエンリッチメントを検討した．ここでは，話者の個人性情報を制御することで話者秘匿化やプライバシー保護ができるか検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度は，計画どおり，前年度課題で検討した，音声の明瞭性と変調知覚の関係ならびに明瞭性と音声生成の関係に基づき，音声明瞭化といったエンリッチメントを検討した．また，音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し，話者秘匿や音声プライバシーの保護といったエンリッチメントも検討した．今年度もコロナ禍でドレスデン工科大を訪問して実施できない課題もあるが，他の三つの課題（感情や声の質感，情動など）についても先取りして検討に取りかかった．
|
| Strategy for Future Research Activity |
今年度もコロナ禍のため協働研究先であるドレスデン工科大を訪問して研究することができなかった．そのため，メールやオンラインミーティングを活用するなど，訪問できなくても協働研究を進められるところから手をつけた．次年度もコロナ禍の影響から，今後いつ頃に共同研究先であるドレスデン工科大を訪問できるか不明であるため，オンラインミーティングを活用して研究を継続していく．
|
| Causes of Carryover |
コロナ禍により計画通りに一部執行できなかったため．
繰り越し分については，当初計画案に沿って対応する予定である．
|
