2021 Fiscal Year Research-status Report
Speech Synthesis based on the sense of physical and psychological distance from the user
Project/Area Number |
21K17784
|
Research Institution | Kobe University |
Principal Investigator |
村上 遥 神戸大学, 未来医工学研究開発センター, 特命助教 (10808801)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Keywords | コミュニケーション / 音声合成 |
Outline of Annual Research Achievements |
本研究ではAIスピーカーをはじめとした機械音声に対し、返答音声に「対話相手への意識」という要素を付加し、より親しみを感じやすいAIスピーカー音声を生成することを目的とする。コンピューター音声に文章を読ませる研究では、2016年にDeep learningを用いた手法であるWaveNetの登場により、特に英語においては人間の発話と区別がつきづらいほど発話音声の発音や抑揚が自然になっているが、音量が大きくなる、実装側が定義した感情っぽく聞こえる様に音声を加工するという点を除いて音声に変化はない。つまり、その場の状況や相手との関係性などのコンテキストで音声が変化する研究はなされていない。本研究は「人が人と話す時、対話相手との①物理的距離、②心理的距離という2つの距離感により、無意識に発話全体における発話スピード、声の大きさ・高さ、音圧等を変えてメッセージを投げかけている」という現象に注目し、AIスピーカーの対話相手から距離感コンテキストを抜き出し、AIスピーカー発話音声に付加することにより相手との物理的・心理的距離感コンテキストの埋め込みを試みるものである。本年度では、対話相手との物理的・心理的距離によって変化させる話し方の構成要素を数理モデル化するため、2名の被験者に指定した発話による対話を行ってもらい、それを録音してデータセット化し、物理的距離による変化を分析し手動で加工したものを作成することを目指していた。しかし、コロナ禍の影響により対話での録音が困難となってしまったため、本期間内でコロナ禍による制限は無くならないものと判断し、被験者にVR空間に入ってもらい対面したアバターに呼びかけるという手法での録音に切り替えることとした。現在は、VRでの実験空間を準備している。
|
Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
本年においては研究実施に必要な人の呼びかけ発声データセットを作成する予定であったが、コロナ禍の影響により、密閉空間での対面した被験者同士の会話による長時間にわたる録音が実施できなかった。 現在、VRを用いて擬似的な対面状況を作り、他者に呼びかける音声を録音する方法を模索しており、Unityを用いてVR環境を実装している。
|
Strategy for Future Research Activity |
期間中にマスクを外したコミュニケーションはできないものと考え、当初の予定であった対面した人同士の呼びかけ音声の録音を断念し、VRを用いた擬似的な対面環境における被験者の発声音声の録音に切り替える。 対話の対象相手が人、VR内の人、機械(AIスピーカー)に変わることで発声の具合に違いが出るかを同時に検証し、違いがある場合には補正して直接の対人の場合の音声に切り替える方法を探る。直接の対人での調査は、研究責任者がマスクとフェイスシールをして被験者が一方的に短時間で呼びかける方法で検証用の音声録音を行う。
3つを比較し、直接の対人への発声と差異の小さいものをデータセットとして用いる。いずれも違いがない場合には、実験内容によりVRとAIスピーカーへの呼びかけを使い分ける。
今後はVR上での活用も考え、Deep learningだけでなく、一定の音声加工による音声効果検証も進めていく。
|
Causes of Carryover |
本年度はデータセットの作成をメインとして計画していたが、科研費の支給決定が代表者の別機関への異動後であったことから当初予定していた研究環境を速やかに用意することが難しく、更に申請時よりもコロナ禍における制限が厳しくなったことにより、被験者の対話音声を録音するという当初の計画を実行することができなくなった。代案としてVRを用いた方法に切り替えることを思案したが、更に支給開始当初とは別に当該年度内で代表者の別機関への異動が決定したため、倫理申請等の関係から現在の所属機関において新たに被験者を用いた研究活動をすることができなくなり、実質的に研究活動を中止している時間が長く、計画に遅れが発生している。 新所属先においては研究許可がおりているため、次年度では当初の段階ごとに研究を進める計画を変更し、データセット作成・手動加工・評価を同時進行で簡易的に行い、「距離によって変化する要素がある」ということを実証することを優先して研究を進める予定である。これにより、本年度の予算分の多くは次年度に執行する予定である。
|