研究課題
音声のスペクトル変化を３－４個の因子得点の時間変化に縮約しうることを、音響分析、聴取実験の双方から、様々な手法によって確認した。モザイク音声を用いて、音声の聴取に必要な時間分解精度を求めたところ、英語母語話者が英語を聴取る場合にもモザイクの時間幅が 40 ms から 80 ms に増すときに明瞭度の急激な落込みが認められ、日本語の場合と似た結果になった。また、局部時間反転音声を用いて、日本語、中国語、アメリカ英語、ドイツ語の４言語の聴取りに必要な時間分解精度を求めたところ、モザイク音声を用いた場合に似た結果が得られたが、話速の影響も認められた。一方、日本の中学生の教材のような英語をモザイク音声にして日本語母語話者、英語母語話者に聴かせた場合には、英語母語話者においてモザイクの時間幅が 80 ms の場合にも相当高い明瞭度が得られ、日本語母語話者においてはそうはならなかった。このように、音声の聴取には 40 ms の時間分解精度があれば充分であることが共通して示されてはいるが、条件による違いも見出された。一方、音声が背景騒音と混じった信号がモザイク化されたときに、音声と雑音とが分かれて聴こえることを見出し、モザイク化の時間分解精度、周波数分解精度が高いほどはっきりと分かれて聴こえることが確かめられた。昨年度まで開発を進めてきた高圧縮音声合成システムの最適化を目指し、１秒あたり2 キロビット程度の信号レートで、雑音に対して充分に頑健なシステムを完成し、特許出願することができた。雑音下において明瞭度を高めるための音声強調の最適化を試み、その研究は進行中である。実時間コミュニケーションの脳内基盤を探るために非侵襲的脳機能計測を行い、吃音者において、左聴覚野の機能低下を代償するために、両聴覚野の異常同期現象の生ずることを見出した。
1: 当初の計画以上に進展している
音声信号が縮約されても言語的内容を聴きとることができる条件を求め、音声の聴きとりに本質的に必要なものは何かを求めることが、研究の大きな部分を占めてきた。結果としてスペクトルの時間変化を３－４個の因子の因子得点の時間変化に縮約しうること、この因子のうちおよそ 540-1700 Hz の周波数範囲に当たるものが音韻論において「鳴音性 sonority」と呼ばれる音素の性質に対応することが確かめられた。鳴音性は音節の産出、知覚に密接に関係していると考えられ、そのことを考慮して音声強調のパラメーターを調整することが可能になった。音声知覚にどのような手掛かりが貢献しているかを探るための道具として、時間－周波数の座標上で音エネルギーの密度をモザイク処理した「モザイク音声」を開発し、新しいタイプの実験を行うことができた。注目すべきことは、時間分解精度が 40 ms くらいであれば充分な明瞭度の得られる場合が多いことであり、これは日本語、英語のいずれにおいても確認されている。限られた情報によって音声の内容は充分に伝わることが判った。１秒当たり２キロビット程度の少ない情報量によって音声の言語的内容を伝える技術については、実用面だけではなく技術的挑戦としても面白いので、特許出願のあとさらに聴取実験を続けている。時間構造を有する聴覚刺激に対してどのような脳活動が生ずるかについて、これまで脳波の事象関連電位を中心に研究を進めてきたが、単純な時間パターンについて脳磁図のデータが得られているので、現在解析を進めている。
音声信号を時間軸、周波数軸の双方において劣化させたモザイク音声等を用いて、言語内容の理解に必要な時間分解精度、周波数分解精度を測定するとともに、その両者を同時に変化させたときにどのようなことが生ずるかを調べる。さらに、残響、騒音を付加した条件での音声知覚について、モザイク音声や音声強調を施した音声などを用いて測定する。実際の音場や通信系統を模した状況において、音声の聴きとりやすさを多変量解析を用いて推測する技術を確立し、様々な状況において音声の時間構造をどのように構築し、どのような発声法を選び、あるいは音声をどのように加工すればよいかを考察する。昨年度来開発してきた低ビット・レート伝送の技術を完成させ、その有効性については聴取実験を行う。当初、本計画では充分な構想のなかった国際語としての英語に関しても、これまでの成果がどのように活かせるかを日本語母語話者および英語母語話者について実証的に調べる。音節や音素のように短い音の単位にも注目し、聴取の仕組みについて考察を進める。聴覚刺激に対する脳応答に関して、本計画においてこれまでに得た知見をまとめる。過去のデータに関しても多変量解析の手法を改良して再分析を試みる。一連の技術と知見とを組みあわせて、公共空間における音響放送や様々な通信系統における音声伝達の品質改善について要素的な技術を提案し、それらをどのように組みあわせればよいのかについて総合的に考察を進める。
すべて 2017 2016
すべて 雑誌論文 (22件) (うち国際共著 2件、 査読あり 22件、 オープンアクセス 15件、 謝辞記載あり 3件) 学会発表 (27件) (うち国際学会 18件、 招待講演 1件) 図書 (4件) 産業財産権 (1件)
Journal of Speech, Language and Hearing Research
巻: 60 ページ: 465-470
10.1044/2016_JSLHR-H-15-0435.
International Journal of Software Innovation (IJSI)
巻: 4 ページ: 57-71
10.4018/IJSI.2017010105
Neuroscience Letters
巻: 637 ページ: 102-107
Scientific Reports
巻: 7 ページ: -
10.1038/srep42468
巻: 印刷中 ページ: -
NeuroImage
巻: 1:124 ページ: 256-266
10.1016/j.neuroimage.2015.09.006
巻: 128 ページ: 302-315
10.1016/j.neuroimage.2015.12.057
巻: 130 ページ: 175-183
10.1016/j.neuroimage.2016.01.065
Neurosci Res
巻: 109 ページ: 54-62
10.1016/j.neures.2016.02.004
J Alzheimer's Dis
巻: 53 ページ: 661-676
10.3233/JAD-150939
Multisens Res
巻: 8:29 ページ: 703-725
10.1163/22134808-00002533
Exp Brain Res
巻: 11:234 ページ: 3279-3290
10.1007/s00221-016-4726-1
PLoS One
巻: 9:11 ページ: e0162521
10.1371/journal.pone.0162521
Hear Res
巻: 344 ページ: 82-89
10.1016/j.heares.2016.10.027
Sci Rep
巻: 6 ページ: 37973
10.1038/srep37973
巻: 2:12 ページ: e0170239
10.1371/journal.pone.0170239
神経内科
巻: 84 ページ: 339-345
Clinical Neuroscience
巻: 6:34 ページ: 680-683
巻: 7:34 ページ: 787-790
MDSJ Letters
巻: 2:9 ページ: 4-7
NeuroImage: Clinical
巻: 12 ページ: 300-305
10.1016/j.nicl.2016.07.009
Frontiers in Psychology
10.3389/fpsyg.2016.00517
