2016 Fiscal Year Annual Research Report
公共空間における音響放送の改善:知覚的相互作用を考慮した音デザイン
Project/Area Number |
25242002
|
Research Institution | Kyushu University |
Principal Investigator |
中島 祥好 九州大学, 芸術工学研究院, 教授 (90127267)
|
Co-Investigator(Kenkyū-buntansha) |
飛松 省三 九州大学, 医学研究院, 教授 (40164008)
松尾 行雄 東北学院大学, 教養学部, 教授 (40323117)
Remijn GerardB. 九州大学, 芸術工学研究院, 准教授 (40467098)
上田 和夫 九州大学, 芸術工学研究院, 准教授 (80254316)
|
Project Period (FY) |
2013-04-01 – 2018-03-31
|
Keywords | 音声強調 / 音声情報圧縮 / モザイク音声 / 時間分解能 / 多変量解析 / 音韻論 / 脳波 / 脳磁図 |
Outline of Annual Research Achievements |
音声のスペクトル変化を3-4個の因子得点の時間変化に縮約しうることを、音響分析、聴取実験の双方から、様々な手法によって確認した。モザイク音声を用いて、音声の聴取に必要な時間分解精度を求めたところ、英語母語話者が英語を聴取る場合にもモザイクの時間幅が 40 ms から 80 ms に増すときに明瞭度の急激な落込みが認められ、日本語の場合と似た結果になった。また、局部時間反転音声を用いて、日本語、中国語、アメリカ英語、ドイツ語の4言語の聴取りに必要な時間分解精度を求めたところ、モザイク音声を用いた場合に似た結果が得られたが、話速の影響も認められた。一方、日本の中学生の教材のような英語をモザイク音声にして日本語母語話者、英語母語話者に聴かせた場合には、英語母語話者においてモザイクの時間幅が 80 ms の場合にも相当高い明瞭度が得られ、日本語母語話者においてはそうはならなかった。このように、音声の聴取には 40 ms の時間分解精度があれば充分であることが共通して示されてはいるが、条件による違いも見出された。一方、音声が背景騒音と混じった信号がモザイク化されたときに、音声と雑音とが分かれて聴こえることを見出し、モザイク化の時間分解精度、周波数分解精度が高いほどはっきりと分かれて聴こえることが確かめられた。昨年度まで開発を進めてきた高圧縮音声合成システムの最適化を目指し、1秒あたり2 キロビット程度の信号レートで、雑音に対して充分に頑健なシステムを完成し、特許出願することができた。雑音下において明瞭度を高めるための音声強調の最適化を試み、その研究は進行中である。実時間コミュニケーションの脳内基盤を探るために非侵襲的脳機能計測を行い、吃音者において、左聴覚野の機能低下を代償するために、両聴覚野の異常同期現象の生ずることを見出した。
|
Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
音声信号が縮約されても言語的内容を聴きとることができる条件を求め、音声の聴きとりに本質的に必要なものは何かを求めることが、研究の大きな部分を占めてきた。結果としてスペクトルの時間変化を3-4個の因子の因子得点の時間変化に縮約しうること、この因子のうちおよそ 540-1700 Hz の周波数範囲に当たるものが音韻論において「鳴音性 sonority」と呼ばれる音素の性質に対応することが確かめられた。鳴音性は音節の産出、知覚に密接に関係していると考えられ、そのことを考慮して音声強調のパラメーターを調整することが可能になった。音声知覚にどのような手掛かりが貢献しているかを探るための道具として、時間-周波数の座標上で音エネルギーの密度をモザイク処理した「モザイク音声」を開発し、新しいタイプの実験を行うことができた。注目すべきことは、時間分解精度が 40 ms くらいであれば充分な明瞭度の得られる場合が多いことであり、これは日本語、英語のいずれにおいても確認されている。限られた情報によって音声の内容は充分に伝わることが判った。1秒当たり2キロビット程度の少ない情報量によって音声の言語的内容を伝える技術については、実用面だけではなく技術的挑戦としても面白いので、特許出願のあとさらに聴取実験を続けている。時間構造を有する聴覚刺激に対してどのような脳活動が生ずるかについて、これまで脳波の事象関連電位を中心に研究を進めてきたが、単純な時間パターンについて脳磁図のデータが得られているので、現在解析を進めている。
|
Strategy for Future Research Activity |
音声信号を時間軸、周波数軸の双方において劣化させたモザイク音声等を用いて、言語内容の理解に必要な時間分解精度、周波数分解精度を測定するとともに、その両者を同時に変化させたときにどのようなことが生ずるかを調べる。さらに、残響、騒音を付加した条件での音声知覚について、モザイク音声や音声強調を施した音声などを用いて測定する。実際の音場や通信系統を模した状況において、音声の聴きとりやすさを多変量解析を用いて推測する技術を確立し、様々な状況において音声の時間構造をどのように構築し、どのような発声法を選び、あるいは音声をどのように加工すればよいかを考察する。昨年度来開発してきた低ビット・レート伝送の技術を完成させ、その有効性については聴取実験を行う。 当初、本計画では充分な構想のなかった国際語としての英語に関しても、これまでの成果がどのように活かせるかを日本語母語話者および英語母語話者について実証的に調べる。音節や音素のように短い音の単位にも注目し、聴取の仕組みについて考察を進める。 聴覚刺激に対する脳応答に関して、本計画においてこれまでに得た知見をまとめる。過去のデータに関しても多変量解析の手法を改良して再分析を試みる。 一連の技術と知見とを組みあわせて、公共空間における音響放送や様々な通信系統における音声伝達の品質改善について要素的な技術を提案し、それらをどのように組みあわせればよいのかについて総合的に考察を進める。
|
-
[Journal Article] A NIRS study on cortical hemodynamic responses to normal and whispered speech in 3- to 7-year-old children.2017
Author(s)
Remijn, G.B., Kikuchi, M., Shitamichi, K., Ueno, S., Yoshimura, Y., Tsubokawa, T., Kojima, H., Higashida, H., Minabe, Y.
-
Journal Title
Journal of Speech, Language and Hearing Research
Volume: 60
Pages: 465-470
DOI
Peer Reviewed / Open Access
-
-
-
-
-
[Journal Article] Neuromagnetic evidence for hippocampal modulation of auditory processing.2016
Author(s)
Chatani, H., Hagiwara, K., Hironaga, N., Ogata, K., Shigeto, H., Morioka, T., Sakata, A., Hashiguchi, K., Murakami, N., Uehara, T., Kira, J.-I., & Tobimatsu, S.
-
Journal Title
NeuroImage
Volume: 1:124
Pages: 256-266
DOI
Peer Reviewed / Open Access
-
[Journal Article] The inhibition/excitation ratio related to task-induced oscillatory modulations during a working memory task: A multimodal-imaging study using MEG and MRS.2016
Author(s)
Fujihara, K., Tagawa, M., Hironaga, N., Near, J., Kasagi, M., Takahashi, Y., Motegi, T., Suzuki, Y., Aoyama, Y., Sakurai, N., Yamaguchi, M., Tobimatsu, S., Ujita, K., Tsushima, Y., Narita, K., & Fukuda, M.
-
Journal Title
NeuroImage
Volume: 128
Pages: 302-315
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
[Journal Article] A spatiotemporal signature of cortical pain relief by tactile stimulation: An MEG study.2016
Author(s)
Hayamizu, M., Hagiwara, K., Hironaga, N., Ogata, K., Hoka, S., & Tobimatsu, S.
-
Journal Title
NeuroImage
Volume: 130
Pages: 175-183
DOI
Peer Reviewed / Open Access
-
[Journal Article] Neuromagnetic evidence that the right fusiform face area is essential for human face awareness: An intermittent binocular rivalry study.2016
Author(s)
Kume, Y., Maekawa, T., Urakawa, T., Hironaga, N., Ogata, K., Shigyo, M., & Tobimatsu, S.
-
Journal Title
Neurosci Res
Volume: 109
Pages: 54-62
DOI
Peer Reviewed / Open Access
-
[Journal Article] A potential VEP biomarker for mild cognitive impairment: Evidence from selective deficit of higher-level dorsal pathway.2016
Author(s)
Yamasaki, T., Horie, S., Ohyagi, Y., Tanaka, E., Nakamura, N., Goto, Y., Kanba, S., Kira, J.-I., & Tobimatsu, S.
-
Journal Title
J Alzheimer's Dis
Volume: 53
Pages: 661-676
DOI
Peer Reviewed / Open Access
-
-
[Journal Article] Time-shrinking perception'in the visual system: A psychophysical and high-density ERP study.2016
Author(s)
Nagaike, A., Mitsudo, T., Nakajima, Y., Ogata, K., Yamasaki, T., Goto, Y., & Tobimatsu, S.
-
Journal Title
Exp Brain Res
Volume: 11:234
Pages: 3279-3290
DOI
Peer Reviewed / Open Access
-
-
[Journal Article] Abnormal auditory synchronization in stuttering: A magnetoencephalographic study.2016
Author(s)
Kikuchi, Y., Okamoto, T., Ogata, K., Hagiwara, K., Umezaki, T., Kenjo, M., Nakagawa, T., & Tobimatsu, S.
-
Journal Title
Hear Res
Volume: 344
Pages: 82-89
DOI
Peer Reviewed / Open Access
-
[Journal Article] Neural oscillations in the temporal pole for a temporally congruent audio-visual speech detection task.2016
Author(s)
Ohki, T., Gunji, A., Takei, Y., Takahashi, H., Kaneko, Y., Kita, Y., Hironaga, N., Tobimatsu, S., Kamio, Y., Hanakawa, T., Inagaki, M., & Hiraki, K.
-
Journal Title
Sci Rep
Volume: 6
Pages: 37973
DOI
Peer Reviewed / Open Access
-
[Journal Article] Enhanced fine-form perception does not contribute to gestalt face perception in autism spectrum disorder.2016
Author(s)
Yamasaki, T., Maekawa, T., Miyanaga, Y., Takahashi, K., Takamiya, N., Ogata, K., & Tobimatsu, S.
-
Journal Title
PLoS One
Volume: 2:12
Pages: e0170239
DOI
Peer Reviewed / Open Access
-
-
-
-
-
[Journal Article] Synchrony of auditory brain responses predicts behavioral ability to keep still in children with autism spectrum disorder.2016
Author(s)
Yoshimura, Y., Kikuchi, M., Hiraishi, H., Hasegawa, C., Takahashi, T., Remijn, G.B., Oi, M., Munesue, T., Higashida, H., & Minabe, Y.
-
Journal Title
NeuroImage: Clinical
Volume: 12
Pages: 300-305
DOI
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Intelligibility of locally time-reversed speech in Chinese, English, German, and Japanese2016
Author(s)
Ueda, K. Nakajima, Y., Tamura, S., Ellermeier, W., Kattner, F., Daebler S., & Neo, N. N.
Organizer
31st International Congress on Psychology (ICP2016)
Place of Presentation
Yokohama, Japan
Year and Date
2016-07-24 – 2016-07-29
Int'l Joint Research
-
-
-
-
-
-
-
[Presentation] Speech pauses of publicspeaking performances by Irish native English speakers2016
Author(s)
Yamashita, Y., Fuyuno, M., Nakajima, Y., Elliot, S. A., & Elliot, M. A.
Organizer
31st International Congress on Psychology (ICP2016)
Place of Presentation
Yokohama, Japan
Year and Date
2016-07-24 – 2016-07-29
Int'l Joint Research
-
-
[Presentation] Effects of the duration and the frequency of temporal gaps on the subjective distortedness of music fragments2016
Author(s)
Iida, I., Nakajima, Y., Ueda, K., Remijn, G. B., & Serizawa, Y.
Organizer
ICMPC14, the 14th International Conference for Music Perception and Cognition
Place of Presentation
San Francisco, CA, USA
Year and Date
2016-07-05 – 2016-07-09
Int'l Joint Research
-
-
-
-
-
-
-