2021 Fiscal Year Research-status Report
対面コミュニケーションと同等に感情を伝えるための音声強調処理法の開発
| Project/Area Number |
19K20618
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
岸田 拓也 電気通信大学, 大学院情報理工学研究科, 特任研究員 (80827907)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 声質変換 / 音響特徴量生成 / エネルギーベースモデル / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
計画全体を通しての目的は「非言語情報の一つである感情が音声の音響的特徴とどの様に結びつくのかを明らかにし、音声のみのコミュニケーションで対面コミュニーションと同等に感情を伝えるための音声強調処理法を開発する」ことである。まず１）感情が表出した発話の映像・音声データベースを構築、２）データベースを用いた心理実験によって感情知覚における視聴覚間の相互作用の強さを明らかにする。次に３）感情知覚と結びつく音声の物理的特性を明らかにし、４）その物理的特性を操作して音声のみでは失われる感情知覚に関わる情報を補償する手法を開発する。以上が計画の概要である。
令和三年度は、主に音声の非言語情報のモデル化の研究を行った。音声の音響的特徴をモデルで表現する際の表現力を高めるために、昨年度までに用いてきたボルツマンマシンと関連の深い、エネルギーベースモデルを用いた手法を検討した。エネルギーベースモデルとその関連モデルは高精細な画像が生成可能なモデルとして近年画像生成分野で注目を集めているモデルである。音声の音響特徴量の系列も、周波数と時間の二つの次元からなる空間上に描かれる画像のようなものとみなすことができるため、画像生成分野で成功を収めている上述の手法が有効であると考えた。提案したモデルは、音声信号においてどのような音響的特徴が生じやすいかを学習するるため、ノイズ混じりの音声からノイズの除去ができる。また、学習時に使う音声の話者の声質も学習するため、声質変換にも利用可能である。ノイズ除去および声質変換の性能を客観指標で評価したところ、従来手法を超える性能を発揮できると確認できた。この他に、音声を聴いたときに感じる「声の印象」を変える声質変換手法や、顔画像を基に、その顔画像にふさわしい声質に元音声を変換する手法などを検討した。令和三年度では、上記研究に関して、国内研究会8件の研究発表を行なった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
対面での収録実験や心理実験の実施を避けた代わりに、音声の非言語情報を操作するための手法の検討を多く進めることができた。特に、表現力の高い深層生成モデルの一つであるエネルギーベースモデルを使った音響特徴量の学習に関して、実践知を含め多くの知見を蓄積することができた。また、声から受ける印象を変換する手法の研究では、既存の音声データベースに対して印象を表す形容詞ラベルを付与するオンライン実験を行うことができた。音声データと形容ラベルを対とするデータセットでモデルの学習が可能となり、非言語情報と音声の音響特徴量との関係を明らかにする目的に近づくことができた。
|
| Strategy for Future Research Activity |
エネルギーベースモデルを使った音響特徴量のモデルは、客観評価では高い性能が発揮できているが、主観評価では既存手法に対して明確な性能向上は確認できていない。モデルのネットワーク構造を見直すことで性能改善を行う。声の印象変換、顔画像を元とする声質変換の研究は昨年度提案した手法をさらに改善する。印象変換の研究では、モデルが出力する声の印象を表す形容詞ラベルの推定結果に対して、適切な確率分布を仮定することで性能改善ができないかを検討する。顔画像を元とする声質変換の研究では、顔画像から抽出される個人性の情報と音声信号から抽出される個人性の情報とがより対応づくようなモデル構造を設計し評価を行う。
|
| Causes of Carryover |
対面による収録実験、心理実験に用いる予定だった機材等の購入や、国内国外学会の多くがオンライン開催であったため旅費の支出が生じなかったため、次年度使用額が生じた。次年度は対面実験が行えれば実験用の装置を、困難であればワークステーションなどの計算資源の補強に予算をあてる。また、これまでの研究成果で得られたデジタルデータを安全に保管するためのストレージ等を購入する。
|
