2020 Fiscal Year Research-status Report
VOICE 2.0: towards augmentation of enriched speech communication
| Project/Area Number |
20KK0233
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (70635367)
森田 翔太 福山大学, 工学部, 講師 (70780378)
|
|---|
| Project Period (FY) |
2020-10-27 – 2025-03-31
|
| Keywords | 音声コミュニケーション / エンリッチメント / 音声了解度 / 非言語情報知覚 / voice 2.0 |
|---|
| Outline of Annual Research Achievements |
現在，Society 5.0を目指した音声情報処理は，AI技術革新の恩恵を受け，飛躍的に進歩している．合成音声の音質は人間のものに肉薄しているが，音声コミュニケーションの本質である，話し手の情動や意図，態度といった表現豊かな音声合成には至っていない．本研究では，ヒトの音声知覚・生成メカニズムに着目し，データサイエンスとの有機的結合を図ることで，エンリッチな音声コミュニケーションの拡張（VOICE 2.0）を目指す．本研究の期待するところは，音声の明瞭さや，感情，個人性，発話スタイルの変化といった声質をヒトのように高低・強弱の程度を制御して，音声コミュニケーションの付加価値を高めることにある．
本研究では，表現豊かな音声コミュニケーションを実現するために，音声の数理工学的な情報表現において，音声のエンリッチな情報を言語・非言語・パラ言語情報にそれぞれ分離し，それらを個別に制御することで，次の５点に関する音声エンリッチメント（言語情報，個人性，感情，年齢，緊迫感のエンリッチメント）を実現する．
本年度（初年度）は，課題①を中心に，他の4つの課題について研究を開始した．課題①では，音声の明瞭性と変調知覚の関係ならび明瞭性と音声生成の関係を調査し，音声明瞭化といったエンリッチメントを検討した．ここでは，雑音残響環境における変調伝達関数と音声の変調スペクトルの関係から，音声の変調スペクトルを強調することによる明瞭性の向上が可能であることを明らかにした．課題②では，音声信号の時間振幅包絡線情報（TAE）と明瞭性の関係について，TAEを構成する瞬時振幅・瞬時周波数成分が感情に係わる可能性を見出した．課題③では，スペクトル包絡線と基本周波数の時間変化情報と個人性の関係を調査し，これらが損なわれると話者性が秘匿されることがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度は，研究期間が11月～3月の4か月間である．課題申請時から研究を継続して進めていたこともあり，当初案では課題①（音声の明瞭性と変調知覚の関係ならび明瞭性と音声生成の関係を調査し，音声明瞭化といったエンリッチメントを調査すること）のみであったが，他4つの課題についても先取りして検討を進めることができたため．
|
| Strategy for Future Research Activity |
コロナ禍のため，共同研究先であるドレスデン工科大を訪問して研究のキックオフをできなかった．そのため，メールやオンラインミーティングを活用するなど，訪問できなくても共同研究を進められるところから研究を実施した．コロナ禍のため，次年度もいつ頃に共同研究先であるドレスデン工科大を訪問できるか不明であるため，オンラインミーティングを活用して研究を継続していく．
|
| Causes of Carryover |
分担者（森田）は，研究課題実施のため，高速かつ大規模な計算ができる高性能グラフィックボート搭載のノートパソコンが必要である．そのため，GPU（RTX3080）搭載しているコストパフォーマンスに優れたRazer製の2021年モデル15型ノートパソコンを予定していた．しかしながら，世界的な半導体不足ならびに高性能グラフィックボード不足により，購入を予定していた機器を2020年度中に購入することができなかった．現在も当該機器は在庫切れが続いており，当該機種の購入が難しい場合には代替機種への変更を行い，2021年10月を目途に購入する予定である．分担者（赤木）は，計画どおり研究費を執行したが事後精算完了後に千円単位で残額が発生したため，そのまま次年度に繰り越すことにした．
|
