2018 Fiscal Year Research-status Report
How does the brain restore missing speech information?
| Project/Area Number |
17K18705
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
上田 和夫 九州大学, 芸術工学研究院, 准教授 (80254316)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Remijn GerardB. 九州大学, 芸術工学研究院, 准教授 (40467098)
中島 祥好 九州大学, 芸術工学研究院, 教授 (90127267)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | 音声修復 / 局部時間反転音声 / 断続音声 |
|---|
| Outline of Annual Research Achievements |
音声を周期的に断続した断続音声では，もとの50%の情報しか呈示されない。しかし，断続周期の条件により，また削除された部分を雑音で埋めることにより，80%程度以上の情報が復元される。これは，あたかも視覚における盲点のように，欠落した入力情報を，周りの情報や知識をもとに脳が推測し，埋め合わせているように見えるかも知れない。しかし，聴覚の場合，入力情報は常に時間的な変化の情報として継時的にしか入力されないため，視覚の盲点と同じには扱えない。一方で，どのような情報を脳が利用して音声修復を行っているのかについてはよくわかっていない。本研究は，脳が行う音声修復の仕組みについて探るため，様々な操作を加えた音声を断続し，また削除された部分を雑音で埋めることで，どのような復元が行われるのかを調べている。
本年度は，音声を 20-160 ミリ秒ごとに区切った後，それぞれの区間を局部的に時間反転させた，局部時間反転音声を用いて，これを一つの区間おきに削除した局部時間反転断続音声，削除した区間に雑音を入れた条件，および断続音声の条件を作り，さらに雑音の強さが音声の強さと同じ条件，10 dB 強い条件，10 dB 弱い条件を作って，音声の聴き取りにどのような変化が生じるのかを調べた。その結果，局部時間反転音声を断続させると，明瞭度が大幅に低下すること，区間長 60 ミリ秒以下の条件では，雑音で埋めることで明瞭度が上昇するが，音声よりも弱い雑音では，その効果が見られないことがわかった。断続音声では，60 ミリ秒以下の短い時間間隔で断続を行った場合，断続を行わない場合と比べて明瞭度がそもそも変化せず，雑音を挿入しても明瞭度が上昇することはない。局部時間反転断続音声において，音声よりも明らかに弱い雑音では明瞭度の上昇が見られなかったことから，音声修復の仕組みを明らかにする研究の手がかりが得られたと考える。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初計画していた実験は，順調に進んで新しいデータを生みだしており，今後，研究を進めるうえでの貴重な手がかりが得られた。さらに，本年度は，劣化音声の知覚に関して，水準の高い国際査読誌に 2 編の原著論文を出版でき，また，招待論文として我々の研究グループの研究成果をまとめた解説記事も学会誌に掲載された。書籍の原稿もいくつか脱稿でき，印刷中である。カナダおよびドイツの共同研究者との研究打ち合わせもでき，さらに 1 篇の原著論文を国際誌に投稿し，現在，査読中である。以上の理由により，当初の計画以上に進展していると判断した。
|
| Strategy for Future Research Activity |
今後は，局部時間反転断続音声に挿入する雑音の性質を変える，劣化音声として雑音駆動音声，モザイク音声を用いるなどして，音声と雑音のどのような性質が，音声修復に影響を与えるのかを探索する。また，日本語以外の言語でも同様の結果が得られるのかどうかを，海外の研究協力者と調べていく。
|
| Causes of Carryover |
5 月に予定していた海外出張（学会発表）を，学内の事情により断念せざるを得なくなり，その代わりに 11 月の学会で発表することにし，別に予定していた海外共同研究先との研究打ち合わせもこのときに合わせて行うことになったため，結果的に旅費を節約できたことになり，次年度使用額が生じた。次年度は，成果発表のためにより多くの旅費が必要となる見込みであるので，次年度使用額は有効に使用できるものと考える。
|
