2016 Fiscal Year Annual Research Report
音声情報圧縮の基礎研究：言語音のスペクトル変化と発声器官の動きとの同時観測
| Project/Area Number |
16J05172
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
岸田 拓也 九州大学, 芸術工学研究院, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2016-04-22 – 2018-03-31
|
| Keywords | 音声知覚 / 音声強調 / 音声合成 / 因子分析 |
|---|
| Outline of Annual Research Achievements |
音声の音響的特徴と音声知覚との関係について調べることを中心に研究を行い，その成果を学会等で発表した．
まず，本研究計画を着想する元となった，音声の臨界帯域ごとにおけるパワーの変動―音声のスペクトル変化―を因子分析することによって取り出される，3つないし4つのパワー変動因子によって音声に含まれる言語情報の大部分が伝わるという研究について，国際誌のFrontiers in Psychology に論文を発表した．この研究の結果をうけて，音声の因子分析から取り出された4つのパワー変動因子それぞれが音声知覚においてどのような役割を持つのかについて調べる聴覚心理実験を行った．その結果，4つの因子のうち1000 Hz付近の周波数帯域に関連する因子が日本語の音声知覚において特に重要な役割を持っていることが明らかとなった．
聴覚心理実験を通して明らかとなったパワー変動因子の特性が，日本語以外の言語においても共通しているのかを調べることを目的に，アイルランド国立大学ゴールウェイ校にて，英語母語話者を対象とした聴覚心理実験を行った．英語母語話者が英語音声を明瞭に知覚するために，パワー変動因子がいくつ必要であるかについて調べたこの実験で，実験参加者9名分のデータを得ることができた．
音声を明瞭にかつより自然に聴こえさせるための音声信号の処理法についての研究を行った．雑音が混入した音声信号を，雑音と音声とに分離することで，音声を聴き取りやすくするという音声強調技術がある．従来法として提案されている手法で強調された音声に耳障りな成分が残るという問題に対して，音声合成で用いられている確率モデルから音声を生成するという技術を応用することにより，耳障りな音成分を抑え，より滑らかに聴くことのできる強調音声を得ることが出来るようになった．この音声強調技術について平成28年8月に特許として出願した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
明瞭で，自然な聴こえの音声をデザインするために，我々がどのように音声を話し，聴くのかについて，聴覚心理実験と音声の多変量解析とを組み合わせることで明らかにすることが本研究の目的であった．音声を因子分析することによって得られる，様々な言語に共通してみられる4つのパワー変動因子が，音声の知覚においてそれぞれ異なる役割があることを示すデータを聴覚心理実験によって得ることできた．これにより明瞭な音声をデザインするために，どのような音響的特徴が音声に重要であるのかを因子という周波数スペクトル上の具体的な形で示すことが可能となった．
英語母語話者が参加した聴覚心理実験を行うことができたことも当初の計画を超えた進展である．これにより，言語が異なる時に，同じように音声をデザインできるのか，言語ごとに調整が必要であるのかについて今後検討を進めることができる．
音声を強調処理した際に生じる，強調音声の聴こえの不自然さを低減させる手法の研究を行い，独自技術として特許出願できた．これについても当初の計画に含まれていなかった内容である．
発声器官の運動と音声のデータについては，予備分析を行った．共同研究者のWilly Wong准教授と分析結果について議論を重ねることができ，今後の方針を固めることができた．
|
| Strategy for Future Research Activity |
音声の明瞭性について，音声のパワー変動因子がもつそれぞれの役割についてより詳細に調べるための聴覚心理実験を行う．また，28年度に開発した音声強調についての独自技術の効果について，シミュレーションだけでなく，聴覚心理実験で確かめる．
音声のフォルマント周波数と発声器官の運動とが密接に関係していることが良く知られている．この知見を利用し，音声のフォルマント周波数と音声のパワー変動因子の関係を重回帰分析等によって明らかにすることで，間接的に発声器官の運動と音声のパワー変動因子とを結びつける．発声器官の運動の中で，音声の明瞭性および自然性において重要である特徴を，パワー変動因子を介して見出す．
当初の計画にはなかった，英語などの多言語に研究を拡張する．9月に開催される国際精神物理学会大会に参加し，研究成果について発表を行う予定であるが，その大会開催中に，学会参加者を対象に様々な言語による聴覚心理実験を行う．大会主催者の一人が研究指導教員であり，この計画については既に打ち合わせを進めている．
得られた知見を組み合わせ，合成音声の明瞭性と自然性を改善する技術を提案し，その効果を心理実験によって確かめる．
|
