公共空間における音響放送の改善：知覚的相互作用を考慮した音デザイン

2015 Fiscal Year Annual Research Report

• Project/Area Number: 25242002
• Research Institution: Kyushu University
• Principal Investigator: 中島 祥好 九州大学, 芸術工学研究科(研究院), 教授 (90127267)
• Co-Investigator(Kenkyū-buntansha): 飛松 省三 九州大学, 医学(系)研究科(研究院), 教授 (40164008) ; 松尾 行雄 東北学院大学, 教養学部, 教授 (40323117) ; Remijn GerardB. 九州大学, 芸術工学研究科(研究院), 准教授 (40467098) ; 上田 和夫 九州大学, 芸術工学研究科(研究院), 准教授 (80254316)
• Project Period (FY): 2013-04-01 – 2018-03-31
• Keywords: 音声 / 時間分解精度 / 周波数分解精度 / モザイク音声 / 因子分析 / 情報圧縮

Outline of Annual Research Achievements

昨年度に続き、音声知覚に必要である時間分解精度、周波数分解精度を、モザイク音声を用いて調べた。時間方向に 20 ms 程度の精度が得られ、周波数方向に適切な10帯域が得られれば、日本語のモーラ正答率にして95% 以上が達成されるが、時間分解精度、周波数分解精度のいずれが落ちても音声の明瞭度が低下する。明瞭度がゼロに近付くまでは、その傾向が続く。この枠組みを日本語以外の言語にまで広げることを目指し、英語のモザイク音声を用いた研究を始めている。
音声のスペクトル変化を因子分析によって縮約して表現することを従来から試みており、今回は因子分析の結果から雑音駆動音声を再合成し、その明瞭度を求めた。この際、因子分析の方法を改良し、無音の箇所は必ず無音として再合成されるようにすることで、聴取実験の妥当性を高めた。因子の数が２から３に増加するときに明瞭度が飛躍的に増加し約 70% になることが判った。因子負荷量のパターンを、以前の分析結果と合わせて見ることにより、3-4個の因子が音声コミュニケーションの基本をなすことが結論付けられた。この因子分析法をさらに改良し、因子負荷量、因子得点のいずれも非負の値とし、因子負荷量のベクトルが直交することは崩さないようにしたところ、上記の傾向が一層はっきりと現れた。
音声信号に含まれる情報のうち、上記のような因子と、時間波形の周期性とが特に重要であることに注目し、ある程度聴きとれる音声をできる限り少ない情報量で再合成することを試み、3 kb/s にまで情報量を下げることができた。この技術は、雑音下において頑強な音声を作ることにつながる。
今後、コミュニケーションの品質評価に神経生理学的手法を導入するために、ささやき声や顔画像に対する脳応答の分析を行っている。さらに、ヒトの音声と他の霊長類の音声とを多変量解析の手法を用いて体系的に比較することを試みている。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

音声のスペクトル変化に対して因子分析を行う研究と、音声知覚に必要な時間分解精度、周波数分解精度を調べる研究とに関して、大きな進展があった。因子分析によって音声を伝える周波数帯域を４つに分割し、これを用いて雑音駆動音声を合成すれば高い明瞭度が得られることについて、国際学術誌に発表することができた。さらに、音声のスペクトル変化を多変量解析によって縮約して表現するに際して、起点移動因子分析という新しい手法により、因子得点から音声を再合成したときに、本来無音であるべき区間に定常的な雑音が出つづけるという問題を解消することができた。このことによって、再合成した音声を用いた大規模な聴取実験が可能となり、3-4個の因子が音声コミュニケーションの基本をなすことを突きとめた。この研究は国際学術誌に掲載されることが決まっている。この因子分析法をさらに改良して、因子負荷量、因子得点の双方を非負化してさらに直観的に解りやすい形で音声を再合成することにも成功し、上記の結論をより明瞭にすることができた。この成果は 2016 年７月に国際心理学会議で発表する予定である。
上記の事柄に加えて、当初は想定していなかった方向に研究を進展させることができた。上記の因子分析の手法については、一般的な統計学の手法として汎用性のあることが判り、考察を進めている。また、スペクトルの時間変化に対して多変量解析を行うということは、ヒト以外の種の音声に対しても有効であるため、ヒトと他の霊長類とを音声の面から比較するという新しい研究分野が開けた。

Strategy for Future Research Activity

音声のスペクトル変化を 3-4 個の因子で表現することが有効であることがはっきりしたので、今後は出発点をここに絞る。これに加えて、時間波形の周期性に関する情報が音声知覚に有効であること、時間分解精度が 40 ms であってもかなり明瞭な合成音声が得られること、が重要である。このような観点から、最適の音声強調の方法を探ってゆきたい。
因子分析の方法を変形することによって、音声コミュニケーションの仕組みがより適切に捉えられることが解ってきたので、因子分析の数理的手法についても研究を進め、音声の発声と聴取とを記述するのに最適な方法を見出したい。このことによって、調音器官の動きや脳活動と音声信号との関連付けがより明確になされ、音声強調や音声信号の情報圧縮をより効率的なものにすることができると考えている。特に、因子負荷量と因子得点との両方を非負の値にする方法では、音声の再合成を、因子に相当する音源の強度を因子得点に基づいて時間的に変化させることであると考える。実際の音を同時に鳴らすという発想で捉えることができるので、直観的に解りやすい。したがって、さまざまな実験、分析の結果の関連性を探り、聴覚の仕組みや脳活動と結びつけて捉えることを可能にし、発展性の高い理論的枠組を提供しうるのではないかと考えられる。今後はこの方向での研究を進めてゆく。
音声コミュニケーションについて神経生理学的な手法で研究を進めてゆく目途がついたので、上記の因子分析に関する研究を、脳活動の研究と結びつけてゆきたい。ただし、現段階では探索的なものに留まる。

Research Products

• [Int'l Joint Research] ダルムシュタット工科大学(ドイツ)
  • Country Name: GERMANY
  • Counterpart Institution: ダルムシュタット工科大学
• [Int'l Joint Research] トロント大学(カナダ)
  • Country Name: CANADA
  • Counterpart Institution: トロント大学
• [Int'l Joint Research] アイルランド国立大学ゴールウェイ校(アイルランド)
  • Country Name: IRELAND
  • Counterpart Institution: アイルランド国立大学ゴールウェイ校
• [Journal Article] The inhibition/excitation ratio related to task-induced oscillatory modulations during a working memory task: A multimodal-imaging study using MEG and MRS. (2016)
  • Author(s): Fujihara, K., Tagawa, M., Hironaga, N., Near, J., Kasagi, M., Takahashi, Y., Motegi, T., Suzuki, Y., Aoyama, Y., Sakurai, N., Yamaguchi, M., Tobimatsu, S., Ujita, K., Tsushima, Y., Narita, K., & Fukuda, M.
  • Journal Title: NeuroImage Volume: 128 Pages: 302-315
  • DOI: 10.1016/j.neuroimage.2015.12.057
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Computational-model-based analysis of context effects on harmonic expectancy. (2016)
  • Author(s): Morimoto, S., Remijn, G. B., Nakajima, Y.
  • Journal Title: PLOS ONE Volume: 11(3) Pages: 1-17
  • DOI: 10.1371/journal.pone.0151374.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Atypical development of the central auditory system in young children with Autism spectrum disorder. (2016)
  • Author(s): Yoshimura, Y., Kikuchi, M., Hiraishi, H., Hasegawa, C., Takahashi, T., Remijn, G. B., Oi, M., Munesue, T., Higashida, H., Minabe, Y., Kojima, H.
  • Journal Title: Autism Research Volume: 9(2) Pages: 1-11
  • DOI: 10.1002/aur.1604.
  • Peer Reviewed / Open Access
• [Journal Article] Neuromagnetic evidence for hippocampal modulation of auditory processing. (2016)
  • Author(s): Chatani, H., Hagiwara, K., Hironaga, N., Ogata, K., Shigeto, H., Morioka, T., Sakata, A., Hashiguchi, K., Murakami, N., Uehara, T., Kira, J., Tobimatsu, S.
  • Journal Title: NeuroImage Volume: 124 Pages: 256-266
  • DOI: 10.1016/j.neuroimage.2015.09.006.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] spatiotemporal signature of cortical pain relief by tactile stimulation: An MEG study. (2016)
  • Author(s): Hayamizu, M., Hagiwara, K., Hironaga, N., Ogata, K., Hoka, S., Tobimatsu, S.
  • Journal Title: NeuroImage Volume: 130 Pages: 175-183
  • DOI: 10.1016/j.neuroimage.2016.01.065.
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Three factors are critical in order to synthesize intelligible noise-vocoded Japanese speech. (2016)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., Remijn, G. B.
  • Journal Title: Frontiers in Psychology Volume: 7:517 Pages: 0
  • DOI: 10.3389/fpsyg.2016.00517.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Effects of sound marker durations on the perception of inter-onset time intervals: a study with instrumental sounds. (2016)
  • Author(s): Hasuo, E., Nakajima, Y., Wakazugi, M., Fujioka, T.
  • Journal Title: 基礎心理学研究（Japanese Journal of Psychonomic Science） Volume: 第34巻 第1号 Pages: 2-16
  • DOI: http://doi.org/10.14947/psychono.34.2.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Memory disruption by irrelevant noise-vocoded speech: Effects of native language and the number of frequency bands. (2015)
  • Author(s): Ellermeier, W., Kattner, F., Ueda, K., Doumoto, K. Nakajima, Y.
  • Journal Title: Journal of the Acoustical Society of America Volume: 138 Pages: 1561-1569
  • DOI: http://dx.doi.org/10.1121/1.4928954.
  • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
• [Journal Article] Temporal dynamics of the knowledge-mediated visual disambiguation process in humans: An MEG study. (2015)
  • Author(s): Urakawa, T., Ogata, K., Kimura, T., Kume, Y., Tobimatsu, S.
  • Journal Title: European Journal of Neuroscience Volume: 41 Pages: 232-242
  • DOI: 10.1111/ejn.12778.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Neural substrates of species-dependent visual processing of faces: Use of morphed faces. (2015)
  • Author(s): Yamada E., Ogata, K., Kishimoto, J., Tanaka, M., Urakawa, T., Yamasaki, T., Tobimatsu, S.
  • Journal Title: Physiological Reports Volume: 13 Pages: 1-16
  • DOI: 10.14814/phy2.12387.
  • Peer Reviewed / Open Access
• [Journal Article] Neuromagnetic evidence that the right fusiform face area is essential for human face awareness: An intermittent binocular rivalry study. (2015)
  • Author(s): Kume, Y., Maekawa, T., Urakawa, T., Hironaga, N., Ogata, K., Shigyo, M., Tobimatsu, S.
  • Journal Title: Neuroscience Research Volume: 0 Pages: 0
  • DOI: 10.1016/j.neures.2016.02.004.
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] デジタル脳波の記録・判読指針 (2015)
  • Author(s): 池田昭夫, 赤松直樹, 小林勝弘, 酒田あゆみ, 末永和栄, 飛松省三, 橋本修治, 松浦雅人
  • Journal Title: 臨床神経生理学 Volume: 43 Pages: 22-62
  • Peer Reviewed
• [Journal Article] 視覚誘発電位(VEP) (2015)
  • Author(s): 飛松省三
  • Journal Title: Clinical Neuroscience Volume: 33 Pages: 543-545
  • Peer Reviewed
• [Journal Article] 多発性硬化症の神経生理学的検査 (2015)
  • Author(s): 茶谷裕, 飛松省三
  • Journal Title: 日本臨床 Volume: 73巻増刊号7 Pages: 167-172
  • Peer Reviewed
• [Journal Article] Individuality embedded in the isolation calls of captive beluga whales (Delphinapterus leucas). (2015)
  • Author(s): Mishima, Y., Morisaka, T., Itoh, M., Matsuo, I., Sakaguchi, A., Miyamoto, Y.
  • Journal Title: Zoological Letters Volume: 1 Pages: 1-27
  • DOI: 10.1186/s40851-015-0028-x.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Echolocation of insects using intermittent frequency-modulated sounds. (2015)
  • Author(s): Matsuo, I., Takanashi, T.
  • Journal Title: JASA Express Letters Volume: 138 Pages: EL276-279
  • DOI: http://dx.doi.org/10.1121/1.4929734.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] Perceptual validity and analytical advantages of non-negative bases extracted from factor analyses of Japanese speech (2016)
  • Author(s): Nakao, K., Kishida, T., Nakajima, Y.
  • Organizer: 31st International Congress of Psychology
  • Place of Presentation: Yokohama, Japan
  • Year and Date: 2016-07-29 – 2016-07-29
  • Int'l Joint Research
• [Presentation] Origin-shifted principal component analysis: A method suitable for reconstructing non-negative data (2016)
  • Author(s): Kishida, T., Nakao, K., Nakajima, Y.
  • Organizer: 31st International Congress of Psychology
  • Place of Presentation: Yokohama, Japan
  • Year and Date: 2016-07-29 – 2016-07-29
  • Int'l Joint Research
• [Presentation] Influence of the temporal-unit duration on the intelligibility of English mosaic speech (2016)
  • Author(s): Kojima, K., Nakajima, Y.
  • Organizer: 31st International Congress of Psychology
  • Place of Presentation: Yokohama, Japan
  • Year and Date: 2016-07-29 – 2016-07-29
  • Int'l Joint Research
• [Presentation] The effect of sound on visual grouping in a multistable stimulus (2016)
  • Author(s): Yano, H., Nakajima, Y., Ueda, K., Remijn, G. B.
  • Organizer: 31st International Congress of Psychology
  • Place of Presentation: Yokohama, Japan
  • Year and Date: 2016-07-29 – 2016-07-29
  • Int'l Joint Research
• [Presentation] Effects of factor elimination on inteligibility of noise-vocoded Japanese speech (2016)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., Remijn, G. B.
  • Organizer: 31st International Congress of Psychology
  • Place of Presentation: Yokohama, Japan
  • Year and Date: 2016-07-24 – 2016-07-29
  • Int'l Joint Research
• [Presentation] The perception of a dotted rhythm embedded in a two-four-time framework (2016)
  • Author(s): Onishi, C., Nakajima, Y., Hasuo, E.
  • Organizer: 14th International Conference for Music Perception and Cognition
  • Place of Presentation: San Francisco, United States of America
  • Year and Date: 2016-07-05 – 2016-07-09
  • Int'l Joint Research
• [Presentation] Intelligibility of locally time-reversed speech in four languages: Comparison among Chinese, English, German, and Japanese. (2016)
  • Author(s): Ueda, K., Nakajima, Y., Tamura, S., Shichida, A., Ellermeier, W., Kattner, F., Daebler, S., Neo, N. N.
  • Organizer: 第 49 回知覚コロキウム
  • Place of Presentation: 仙台
  • Year and Date: 2016-03-16 – 2016-03-16
• [Presentation] 成人脳波判読ナビ.どこに目をつけて読むのか (2016)
  • Author(s): 飛松省三
  • Organizer: 第3回 臨床脳波勉強会 in奈良
  • Place of Presentation: 奈良
  • Year and Date: 2016-03-12 – 2016-03-12
  • Invited
• [Presentation] 音楽聴取における知覚体制化 (2016)
  • Author(s): 中島祥好
  • Organizer: 第18回日本ヒト脳機能マッピング学会
  • Place of Presentation: 京都
  • Year and Date: 2016-03-08 – 2016-03-08
  • Invited
• [Presentation] 日本語モザイク音声の明瞭度：音声刺激の時間再現精度と周波数再現精度. (2016)
  • Author(s): 伊佐次伸也，上田和夫，中島祥好，Gerard B. Remijn
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: 福岡
  • Year and Date: 2016-03-04 – 2016-03-04
• [Presentation] Intelligibility of locally time-reversed speech in four different languages. (2015)
  • Author(s): Ueda, K., Nakajima, Y., Tamura, S., Ellermeier, W., Kattner, F., Daebler, S., Neo, N. N.
  • Organizer: Proceedings of the 2nd Annual Meeting of the Society for Bioacoustics
  • Place of Presentation: Fukuoka, Japan
  • Year and Date: 2015-12-12 – 2015-12-12
  • Int'l Joint Research
• [Presentation] A cross-species analysis of primate vocalization. (2015)
  • Author(s): Sugino, T., Nakajima, Y., Yamashita, Y., Hiramatsu, C.
  • Organizer: 第2回生物音響学会年次研究発表会
  • Place of Presentation: 福岡
  • Year and Date: 2015-12-12 – 2015-12-12
  • Int'l Joint Research
• [Presentation] てんかんのデジタル脳波診断 (2015)
  • Author(s): 飛松省三
  • Organizer: てんかんシンポジウム宮崎2015
  • Place of Presentation: 宮崎
  • Year and Date: 2015-11-13 – 2015-11-13
  • Invited
• [Presentation] てんかんの臨床神経生理学 (2015)
  • Author(s): 飛松省三
  • Organizer: 第49回日本てんかん学会
  • Place of Presentation: 長崎
  • Year and Date: 2015-10-30 – 2015-10-30
• [Presentation] Central visual system and epilepsy. (2015)
  • Author(s): Tobimatsu, S.
  • Organizer: 第49回日本てんかん学会
  • Place of Presentation: 長崎
  • Year and Date: 2015-10-30 – 2015-10-30
• [Presentation] Intelligibility of locally time-reversed speech in four different languages: A fairly constant effect of segment duration. (2015)
  • Author(s): Ueda, K., Nakajima, Y., Tamura, S., Shichida, A., Ellermeier, W., Kattner, F., Daebler, S., Neo, N. N.
  • Organizer: Lunch Hour Colloquium, UBC
  • Place of Presentation: Vancouver, Canada
  • Year and Date: 2015-10-14 – 2015-10-14
  • Int'l Joint Research
• [Presentation] 空虚時間における同化と対比：音で示された空虚時間の知覚に及ぼす先行時間の効果 (2015)
  • Author(s): 中島 祥好, 蓮尾 絵美, 原口 有紀
  • Organizer: 日本心理学会第79大会
  • Place of Presentation: 名古屋
  • Year and Date: 2015-09-24 – 2015-09-24
• [Presentation] A critical number of power-fluctuation factors needed for Japanese noise-vocoded speech perception. (2015)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., Remijn, G. B.
  • Organizer: Fechner Day 2015, Proceedings of the 31st Annual Meeting of the International Society for Psychophysics
  • Place of Presentation: Quebec, Canada
  • Year and Date: 2015-08-21 – 2015-08-21
  • Int'l Joint Research
• [Presentation] Perceived durations of filled and empty intervals (2015)
  • Author(s): Hasuo, E., Nakajima, Y., Kishida, T., Remijn, G. B., Ueda, K.
  • Organizer: Fechner Day 2015, Proceedings of the 31st Annual Meeting of the International Society for Psychophysics.
  • Place of Presentation: Quebec, Canada
  • Year and Date: 2015-08-19 – 2015-08-19
  • Int'l Joint Research
• [Presentation] The effect of segment duration on the intelligibility of locally time-reversed speech: A multilingual comparison. (2015)
  • Author(s): Ueda, K., Nakajima, Y., Tamura, S., Shichida, A., Ellermeier, W., Kattner, F., Daebler, S.
  • Organizer: Fechner Day 2015, Proceedings of the 31st Annual Meeting of the International Society for Psychophysics
  • Place of Presentation: Quebec, Canada
  • Year and Date: 2015-08-18 – 2015-08-18
  • Int'l Joint Research
• [Presentation] 音声のパワー変動因子から合成した日本語雑音駆動音声におけるモーラ知覚 (2015)
  • Author(s): 岸田拓也, 中島 祥好, 上田 和夫, ジェラード B. レメイン
  • Organizer: 電子情報通信学会ヒューマン情報処理研究会(HIP)（日本バーチャルリアリティ学会VR心理研究会）
  • Place of Presentation: 福岡
  • Year and Date: 2015-07-18 – 2015-07-18
• [Presentation] Introduction to near-infrared spectroscopy: Hemodynamic blood flow patterns in the human brain in response to sound. (2015)
  • Author(s): Remijn, G. B.
  • Organizer: the Japan Audiology Society, 10th ERA/OAE Research meeting
  • Place of Presentation: Tokyo, Japan
  • Year and Date: 2015-07-12 – 2015-07-12
  • Int'l Joint Research / Invited
• [Presentation] 音響学におけるバイオミメティクス (2015)
  • Author(s): 松尾行雄
  • Organizer: バイオミメティクス研究会
  • Place of Presentation: 東京
  • Year and Date: 2015-07-07 – 2015-07-07
  • Invited
• [Presentation] Visual evoked magnetic fields to 8 Hz repetitive pattern-reversal stimulation. (2015)
  • Author(s): Goto, Y., Ikeda, T., Tobimatsu, S.
  • Organizer: International Society for the Advancement of Clinical MEG 2015
  • Place of Presentation: Helsinki, Finland
  • Year and Date: 2015-06-24 – 2015-06-24
  • Int'l Joint Research
• [Presentation] Relationship between MEP amplitudes and cortical EEG oscillations during eyes-open and close. (2015)
  • Author(s): Ogata, K., Nakazono, H., Tobimatsu, S.
  • Organizer: 2015 International Conference on Complex Medical Engineering
  • Place of Presentation: Okayama, Japan
  • Year and Date: 2015-06-18 – 2015-06-18
  • Int'l Joint Research
• [Presentation] Long-lasting plasticity in human visual cortex by transcranial alternating current stimulation. (2015)
  • Author(s): Nakazono, H., Ogata, K., Kimura, T., Tobimatsu, S.
  • Organizer: 2015 International Conference on Complex Medical Engineering
  • Place of Presentation: Okayama, Japan
  • Year and Date: 2015-06-18 – 2015-06-18
  • Int'l Joint Research
• [Presentation] A high-density ERP study on right hemispheric superiority in face recognition. (2015)
  • Author(s): Takamiya, N., Maekawa, T., Yamasaki, T., Ogata, K., Yamada, E., Tanaka, M., Tobimatsu, S.
  • Organizer: 2015 International Conference on Complex Medical Engineering
  • Place of Presentation: Okayama, Japan
  • Year and Date: 2015-06-18 – 2015-06-18
  • Int'l Joint Research
• [Presentation] Localization of individual call among croakers’chorus using a stereo recording system. (2015)
  • Author(s): Ito, M., Matsuo, I., Imaizumi, T., Akamatsu, T.
  • Organizer: 169th Meeting of the Acoustical Society of America
  • Place of Presentation: Pittsburgh, United States of America
  • Year and Date: 2015-05-18 – 2015-05-18
  • Int'l Joint Research
• [Presentation] Exploring biomarkers by clinical neuroimage in neurology: The state-of-the-art applications. (2015)
  • Author(s): Tobimatsu, S.
  • Organizer: First International Taiwanese Congress of Neurology
  • Place of Presentation: Taipei, Taiwan
  • Year and Date: 2015-05-08 – 2015-05-08
  • Int'l Joint Research
• [Book] 音響キーワードブック (2016)
  • Author(s): 日本音響学会編，上田和夫，他216名
  • Total Pages: 482(410-411)
  • Publisher: コロナ社
• [Book] 神経内科外来シリーズ てんかん外来. (2016)
  • Author(s): 飛松省三
  • Total Pages: 232(8-14)
  • Publisher: メジカルビュー社
• [Book] 臨床神経内科学(改訂6版) (2016)
  • Author(s): 飛松省三
  • Total Pages: 968(771-782)
  • Publisher: 南山堂
• [Book] デジタル脳波の記録・判読の手引き. (2015)
  • Author(s): 飛松省三
  • Total Pages: 110(95-99)
  • Publisher: 診断と治療社