公共空間における音響放送の改善：知覚的相互作用を考慮した音デザイン

2014 Fiscal Year Annual Research Report

• Project/Area Number: 25242002
• Research Institution: Kyushu University
• Principal Investigator: 中島 祥好 九州大学, 芸術工学研究科(研究院), 教授 (90127267)
• Co-Investigator(Kenkyū-buntansha): 飛松 省三 九州大学, 医学(系)研究科(研究院), 教授 (40164008) ; 松尾 行雄 東北学院大学, 教養学部, 准教授 (40323117) ; REMIJN GerardB. 九州大学, 芸術工学研究科(研究院), 准教授 (40467098) ; 上田 和夫 九州大学, 芸術工学研究科(研究院), 准教授 (80254316)
• Project Period (FY): 2013-04-01 – 2018-03-31
• Keywords: 音声強調 / 音声情報圧縮 / モザイク音声 / 時間分解能 / 多変量解析 / 音韻論 / 脳波 / 脳磁図

Outline of Annual Research Achievements

騒音、他の信号、残響のある環境においても音声の内容を聴きとりやすくする音声強調の手法を開発することが本計画の目的の一つであり、これまでに開発した子音強調、帯域圧縮、帯域パワー増分強調の手法を組みあわせて、最適の条件を探るプログラムを完成させた。現在、この技術の効果を現場で実証するために、九州大学産学官連携本部等と連絡を取り、連携先を求めている。音声信号に含まれる最重要な情報を明らかにするために、毎秒3000 ビット未満の伝送率で充分明瞭な音声を伝える技術を完成させた。これは20個程度の臨界帯域に分かれるパワー変化の情報を、数個の因子の時間変化に縮約し、これに基本周波数の有無・高低の情報を付加するものである。更に一部の情報を除去して、音声の聴こえの劣化の度合いを知ることで、音声知覚の仕組みを探ることができるはずである。知覚・行動面においては、音で示された時間パターンが、どのようにカテゴリー分けして知覚されるかについて、精神物理学、脳科学の両面から検討を加えた。脳活動に関しては、音声に関係の深い喉頭領域の機能地図を作成した。一方、上記のように音声のパワー変化から導かれる因子の時間変化が、音声知覚や話者の調音運動とどのように関連付けられるかを検討した。その結果、日本語朗読文の場合、音声信号を２つの因子の時間変化に縮約したときにはほとんど言語内容が把握できないのに対して、因子数を３つにすると、日本語の拍を作る単位であるモーラで数えたとき、言語内容の約80%を聴きとることができるようになった。調音運動については、先進的な研究環境を有するトロント大学との共同研究に発展し、調音運動のデータと音声データとを同時に得たので、分析を進めている。また、スペクトログラム上でモザイク化された音声が、同様にモザイク化された、別の音声あるいは種々の雑音と分離して聴きとられうるための条件を調べている。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本計画には、申請時には研究分担者に含めていなかった飛松が加わったことと、トロント大学の Willy Wong 教授、Pascal van Lieshout 教授との連携が急速に進んだことにより、当初は計画していなかった、音の時間パターンの知覚に対応する脳活動を観測することと、調音運動と音声とを同時に記録することとが可能になったので、音声コミュニケーションをより大きな枠組みの中で捉えうる可能性が高まった。また、その枠組みを支える数理科学的な手法も独自に開発し、関連分野の研究者と連絡を取りあうことができるようになった。その一方で、音声を低ビットの伝送率で伝えるという、目標が明快で挑戦性の強い技術的課題にもとり組んでおり、概ね成功している。このように、本計画は申請時に想定したものよりも大規模なものに発展している。

Strategy for Future Research Activity

情報量を最小限に抑え、高齢者に対しても明瞭性を損なわない防災放送等を開発することは、社会的要請に応えるのみならず、音声知覚の仕組みを解明するうえでも重要であるので、更に進めてゆきたい。防災放送に限らず、社会においてこのような技術を必要とする領域は多いと思われ、更なる応用の道を探る。音声を20程度の臨界帯域におけるパワー変化であると捉えて因子分析を施すことをこれまでに行っており、その結果から音声を再合成することを目指して手法を改善しており、これを続ける予定である。当初の予定ではあまり重要な位置を占めていなかったが、きっちりとした数理的手法を完成させることを目標にする。また、聴きとられるべき音声信号と、それ以外の信号あるいは雑音とが、安定して聴きわけられるにはどのような条件が必要であるかについて、実験を続ける。これにはモザイク音声を用いるので、音声知覚に必要な時間精度と周波数精度とを、少なくともデモンストレーションのレベルにおいていくつかの言語に関して調べる。これまでの研究において、脳活動、調音運動の分析、およびそれに関係する数理的手法の開発が、当初予定していなかったにもかかわらず、本計画の枠組みに沿って進んでいるので、残りの研究期間においては、このような新たな研究領域をできるかぎり取りこむことに努め、音声コミュニケーションの全体を、独自の視点から総合的に捉えることを目指す。応用に関してはどうしても企業等との連携が必要になるので、提携先を見つけ、何らかの社会還元を図り、それを通じて新たな研究課題を見つけたい。

Research Products

• [Journal Article] Temporal dynamics of the knowledge-mediated visual disambiguation process in humans: An MEG study. (2015)
  • Author(s): Urakawa, T., Ogata, K., Kimura, T., Kume, Y., Tobimatsu, S.
  • Journal Title: European Journal of Neuroscience Volume: 41 Pages: 232-242
  • DOI: 10.1111/ejn.12778.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Perceptual inequality between two neighboring time intervals defined by sound markers: correspondence between neurophysiological and psychological data. (2014)
  • Author(s): Mitsudo, T., Nakajima, Y., Takeichi, H., & Tobimatsu, S.
  • Journal Title: Frontiers in Psychology Volume: 5:937 Pages: 1-12
  • DOI: 10.3389/fpsyg.2014.00937.
  • Peer Reviewed / Open Access
• [Journal Article] Overestimation of the second time interval replaces time-shrinking when the difference between two adjacent time intervals increases. (2014)
  • Author(s): Nakajima, Y., Hasuo, E., Yamashita, M.m & Haraguchi, Y.
  • Journal Title: Frontiers in Human Neuroscience Volume: 8:281 Pages: 1-12
  • DOI: 10.3389/fnhum.2014.00281.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Auditory Grammar. (2014)
  • Author(s): Nakajima, Y., Sasaki, T., Ueda, K., & Remijn, G. B.
  • Journal Title: Acoustics Australia Volume: 42(2) Pages: 97-101
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Analyzing speech pauses and facial movement patterns in multimodal public-speaking data of EFL learners. (2014)
  • Author(s): Fuyuno, M., Yamashita, Y., Kawase, Y., & Nakajima, Y.
  • Journal Title: Learner Corpus Studies in Asia and the World Volume: 2 Pages: 237-251
  • Peer Reviewed
• [Journal Article] Age-related changes across the primary and secondary somatosensory areas: An analysis of neuromagnetic oscillatory activities. (2014)
  • Author(s): Hagiwara, K., Ogata, K., Okamoto, T., Uehara, T., Hironaga, N., Shigeto, H., Kira, J-I, Tobimatsu, S
  • Journal Title: Clinical Neurophysiology Volume: 125 Pages: 1021-1029
  • DOI: 10.1016/j.clinph.2013.10.005
  • Peer Reviewed / Open Access
• [Journal Article] Neuromagnetic detection of the laryngeal area: Sensory-evoked fields to air-puff stimulation. (2014)
  • Author(s): Miyaji, H., Hironaga, H., Umezaki, T., Hagiwara, K., Shigeto, H., Sawatsubashi, M., Tobimatsu, S., Komune, S
  • Journal Title: NeuroImage Volume: 88 Pages: 162-169
  • DOI: 10.1016/j.neuroimage.2013.11.008
  • Peer Reviewed / Open Access
• [Journal Article] Proposal for a new MEG-MRI co-registration: A 3D laser scanner system. (2014)
  • Author(s): Hironaga, N., Hagiwara, K., Ogata, K., Hayamizu, M., Urakawa, T., Tobimatsu, S
  • Journal Title: Clinical Neurophysiology Volume: 125 Pages: 2404-2412
  • DOI: 10.1016/j.clinph.2014.03.029
  • Peer Reviewed / Open Access
• [Journal Article] 誘発電位の利用の仕方 (2014)
  • Author(s): 飛松省三
  • Journal Title: MS Frontier Volume: 3 Pages: 47-50
• [Journal Article] 脳波検査の基礎知識. (2014)
  • Author(s): 飛松省三
  • Journal Title: Medical Technology Volume: 42 Pages: 530-536
• [Journal Article] 脳磁図, 脳波. (2014)
  • Author(s): 萩原綱一、飛松省三
  • Journal Title: Clinical Neuroscience Volume: 32 Pages: 780-782
• [Journal Article] 脳波リズムの発現機序. (2014)
  • Author(s): 飛松省三
  • Journal Title: 臨床神経生理学 Volume: 42 Pages: 358-363
• [Journal Article] 脳磁図をもちいた神経ネットワークの障害 (2014)
  • Author(s): 飛松省三
  • Journal Title: 臨床神経 Volume: 54 Pages: 960-962
• [Journal Article] Tracking individual fish in a dense school with a broadband split-beam system (2014)
  • Author(s): Ito, M., Matsuo, I., Imaizumi, T., Akamatsu, T., Wang, Y., Nishimori, Y
  • Journal Title: The Journal of the Marine Acoustics Society of Japan Volume: 41(4) Pages: 169-182
  • Peer Reviewed
• [Journal Article] An introduction to the measurement of auditory event-related potentials (ERPs) (2014)
  • Author(s): Remijn, G. B., Hasuo, E., Fujihira, H., Morimoto, S
  • Journal Title: Acoustical Science and Technology Volume: 35 Pages: 229-242
  • Peer Reviewed / Open Access
• [Journal Article] A longitudinal study of auditory evoked field and language development in young children (2014)
  • Author(s): Yoshimura, Y., Kikuchi, M., Ueno, S., Shitamichi, K., Remijn, G. B., Hiraishi, H., Hasegawa, C., Furutani, N., Oi M., Munesune, T., Tsubokawa, T., Higashida, H., Minabe, Y.
  • Journal Title: Neuroimage Volume: 101 Pages: 440-447
  • DOI: 10.1016/j.neuroimage.2014.07.034
  • Peer Reviewed / Open Access
• [Journal Article] Somatosensory evoked field in response to visuotactile stimulation in 3- to 4-year-old children (2014)
  • Author(s): Remijn, G. B., Kikuchi, M., Shitamichi, K., Ueno, S., Yoshimura, Y., Nagao, K., Tsubokawa, T., Kojima, H., Higashida, H., Minabe, Y.
  • Journal Title: Frontiers in Human Neuroscience Volume: 8:170 Pages: 1-11
  • DOI: 10.3389/fnhum.2014.00170
  • Peer Reviewed / Open Access
• [Presentation] 魚類鳴音の定位のための音源分離 (2015)
  • Author(s): 伊藤雅紀、松尾行雄、今泉智人、赤松友成
  • Organizer: 成２７年度日本水産学会春季大会
  • Place of Presentation: 東京
  • Year and Date: 2015-03-28 – 2015-03-28
• [Presentation] 空隙中の周波数変化方向が空隙転移錯覚の生起に与える影響について (2015)
  • Author(s): 久保翔平、中島祥好
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 東京
  • Year and Date: 2015-03-16 – 2015-03-18
• [Presentation] Auditory Grammar in Music: Demonstrations (2015)
  • Author(s): Nakajima, Y.
  • Organizer: The International Five-sense symposium
  • Place of Presentation: Hita, Japan
  • Year and Date: 2015-03-06 – 2015-03-08
• [Presentation] Demonstrations of the Perceptual Roles of Power-Fluctuation Factors in Japanese and English Speech (2015)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., & Remijn, G. B.
  • Organizer: The International Five-sense symposium
  • Place of Presentation: Hita, Japan
  • Year and Date: 2015-03-06 – 2015-03-08
• [Presentation] The Perceptual Roles of Power-Fluctuation Factors in Japanese Speech (2015)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., & Remijn, G. B.
  • Organizer: The 48th Colloquium on Perception
  • Place of Presentation: Hita, Japan
  • Year and Date: 2015-03-06 – 2015-03-08
• [Presentation] About time processing and processing time in the auditory and visual modality (2015)
  • Author(s): Remijn, G. B.
  • Organizer: The International Five-sense symposium
  • Place of Presentation: Hita, Japan
  • Year and Date: 2015-03-06 – 2015-03-08
• [Presentation] Induction of plasticity in the human visual cortex by transcranial alternating current stimulation (2015)
  • Author(s): Nakazono, H., Ogata, K., Kimura, T., & Tobimatsu, S.
  • Organizer: First International Brain Stimulation Conference
  • Place of Presentation: Singapore
  • Year and Date: 2015-03-02 – 2015-03-04
• [Presentation] A new psychophysical method for bimodal perceptual response (2015)
  • Author(s): Sawai, K., Sato, Y., Aihara, K., & Nakajima, Y.
  • Organizer: 第15回 脳と心のメカニズム 冬のワークショップ
  • Place of Presentation: 北海道
  • Year and Date: 2015-01-07 – 2015-01-09
• [Presentation] Speech Intelligibility Mapped onto a Time-Frequency Resolution Plane (2014)
  • Author(s): Isaji, S., Ueda, K., & Nakajima, Y. & Remijn, G. B.
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: Fukuoka, Japan
  • Year and Date: 2014-12-20 – 2014-12-21
• [Presentation] Perceptual Roles of Power-Fluctuation Factors in Speech Perception: A New Method of Factor Analysis (2014)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., & Remijn, G. B.
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: Fukuoka, Japan
  • Year and Date: 2014-12-20 – 2014-12-21
• [Presentation] Three factors or four? Factor analyses of spoken sentences revisited (2014)
  • Author(s): Ueda K. & Nakajima, Y.
  • Organizer: The 19th Auditory Research Forum
  • Place of Presentation: Shiga, Japan
  • Year and Date: 2014-12-13 – 2014-12-14
• [Presentation] Tiled speech: Psychophysics of speech intelligibility (2014)
  • Author(s): Isaji, S., Ueda, K., Nakajima, Y., Remijn, G. B.
  • Organizer: The 19th Auditory Research Forum
  • Place of Presentation: Shiga, Japan
  • Year and Date: 2014-12-13 – 2014-12-14
• [Presentation] リズム知覚のカテゴリー性分析に向けた心理物理手法の提案 (2014)
  • Author(s): 澤井賢一、佐藤好幸、合原一幸、中島祥好
  • Organizer: 日本音楽知覚認知学会 2014年秋季研究発表会（共催: 音楽音響研究会）
  • Place of Presentation: 石川
  • Year and Date: 2014-11-29 – 2014-11-30
• [Presentation] 視覚情報処理機構-網膜から高次視覚野まで- (2014)
  • Author(s): 飛松省三
  • Organizer: 第44回日本臨床神経生理学会
  • Place of Presentation: 福岡
  • Year and Date: 2014-11-19 – 2014-11-21
• [Presentation] Species classification of individual fish using the support vector machine (2014)
  • Author(s): Kinjo, A., Ito, M., Matsuo, I., Imaizumi, T., & Akamatsu, T.
  • Organizer: 168th Meeting of the Acoustical Society of America, Indianapolis
  • Place of Presentation: Indiana
  • Year and Date: 2014-10-27 – 2014-10-31
• [Presentation] Detection of fish calls by using the small underwater sound recorder (2014)
  • Author(s): Matsuo, I., Imaizumi, T., & Akamatsu, T.
  • Organizer: 168th Meeting of the Acoustical Society of America, Indianapolis
  • Place of Presentation: Indiana
  • Year and Date: 2014-10-27 – 2014-10-31
• [Presentation] 聴覚の文法:聴覚体制化と聴覚コミュニケーション (2014)
  • Author(s): 中島 祥好、佐々木隆之、上田 和夫、Remijn, G. B.
  • Organizer: 日本心理学会
  • Place of Presentation: 京都
  • Year and Date: 2014-09-10 – 2014-09-12
• [Presentation] 現象報告実験のためのデータクラスタリング (2014)
  • Author(s): 久保翔平、中島祥好
  • Organizer: YPS・若手会ジョイントセミナー
  • Place of Presentation: 福岡
  • Year and Date: 2014-09-04 – 2014-09-06
• [Presentation] 知覚のばらつきの二峰性を検出する実験手法の提案 (2014)
  • Author(s): 澤井賢一、佐藤好幸、合原一幸、中島祥好
  • Organizer: YPS・若手会ジョイントセミナー
  • Place of Presentation: 福岡
  • Year and Date: 2014-09-04 – 2014-09-06
• [Presentation] サポートベクターマシンを用いた遠隔的魚種識別技術の開発 (2014)
  • Author(s): 金城篤史、伊藤雅紀、松尾行雄、今泉智人、赤松友成
  • Organizer: 電子情報通信学会技術研究報告パターン認識・メディア理解
  • Place of Presentation: 東京
  • Year and Date: 2014-09-01 – 2014-09-01
• [Presentation] Auditory Grammar in Music (2014)
  • Author(s): Nakajima, Y., Sasaki, T., Ueda, K., & Remijn, G. B.
  • Organizer: ICMPC 13 - APSCOM 15
  • Place of Presentation: Seoul, South Korea
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] Perceptual Roles of Power Fluctuation Factors in Speech (2014)
  • Author(s): Kishida, T., Nakajima, Y., Ueda, K., & Remijn, G. B.
  • Organizer: ICMPC 13 - APSCOM 16
  • Place of Presentation: Seoul, South Korea
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] Duration Perception of Filled and Empty Intervals: A Study with Magnitude Estimation and Electroencephalography (2014)
  • Author(s): Hasuo, E., Ueda, K., Kishida, T., Fujihira, H., Morimoto, S., Remijn, G. B., Shiraishi, K., Tobimatsu, S., & Nakajima, Y.
  • Organizer: ICMPC 13 - APSCOM 16
  • Place of Presentation: Seoul, South Korea
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] Computational Model-Based Analysis of Context Effects on Chord Processing (2014)
  • Author(s): Morimoto, S., Remijn, G. B., & Nakajima, Y.
  • Organizer: ICMPC 13 - APSCOM 16
  • Place of Presentation: Seoul, South Korea
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] The Acquisition of Speech Rhythm in Chinese-, English-, and Japanese- Learning Infants (2014)
  • Author(s): Bao, Z., Yamashita, Y., Ueda, K., & Nakajima, Y.
  • Organizer: ICMPC 13 - APSCOM 16
  • Place of Presentation: Seoul, South Korea
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] Auditory reorganization of gliding tones in different frequency ranges (2014)
  • Author(s): Remijn, G. B., Tsubaki, Y., Ueda, K., & Nakajima, Y.
  • Organizer: ICMPC 13 - APSCOM 16
  • Place of Presentation: Seoul, South Korea
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] A Potential Use of Auditory Evoked Magnetic Fields in Presurgical Evaluation of Mesial Temporal Lobe Epilepsy (2014)
  • Author(s): Chatani, H., Hagiwara, K., Ogata, K., Uehara, T., Hashiguchi, K., Murakami, N., Morioka, T., Kira, J., & Tobimatsu, S.
  • Organizer: ICME International Conference on Complex Medical Engineering
  • Place of Presentation: Taipei, Taiwan
  • Year and Date: 2014-06-26 – 2014-06-29
• [Presentation] Parameterization of EEG Topographical Characteristics for Analyzing Visual Evoked Potentials (2014)
  • Author(s): Goto, K., Sugi, T., Matsuda, Y., Goto, S., Fukuda, H., Goto, Y., Yamasaki, T., & Tobimatsu, S.
  • Organizer: ICME International Conference on Complex Medical Engineering
  • Place of Presentation: Taipei, Taiwan
  • Year and Date: 2014-06-26 – 2014-06-29
• [Presentation] Neural Development of Voice and Linguistic Processing in Preschool Children: A NIRS Study (2014)
  • Author(s): Yamasaki, T., Kamio, Y., & Tobimatsu, S.
  • Organizer: ICME International Conference on Complex Medical Engineering
  • Place of Presentation: Taipei, Taiwan
  • Year and Date: 2014-06-26 – 2014-06-29
• [Presentation] Early Diagnosis of Alzheimer’s Disease: Use of Evoked Potentials to Multimodal Visual Stimuli (2014)
  • Author(s): Yamasaki, T. & Tobimatsu, S.
  • Organizer: ICME International Conference on Complex Medical Engineering
  • Place of Presentation: Taipei, Taiwan
  • Year and Date: 2014-06-26 – 2014-06-29
• [Presentation] Temporal resolution needed to hear out Japanese morae in mosaic speech (2014)
  • Author(s): Nakajima, Y., Matsuda, M., Remijn, G. B., Ueda, K.
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: Kyoto, Japan
  • Year and Date: 2014-05-30 – 2014-05-31
• [Presentation] クロスフリークエンシーカップリングの精神疾患への応用と最近の話題 (2014)
  • Author(s): 武井雄一, 藤原和之, 田川みなみ, 笠置正人, 茂木智和, 高橋由美子, 鈴木雄介, 山口実穂, 廣永成人, 飛松省三, 成田耕介, 福田正人
  • Organizer: 第29回日本生体磁気学会大会
  • Place of Presentation: 大阪
  • Year and Date: 2014-05-29 – 2014-05-30
• [Presentation] 広帯域スプリットビームシステムを用いた遠隔的種識別技術の開発 (2014)
  • Author(s): 金城篤史，伊藤雅紀，松尾行雄，今泉智人，赤松友成，
  • Organizer: 海洋音響学会2014年度研究発表会
  • Place of Presentation: 神奈川
  • Year and Date: 2014-05-29 – 2014-05-29
• [Presentation] Multimodal Corpora of English Public Speaking by Asian Learners: Analyses on Speech Rates and Pauses. (2014)
  • Author(s): Fuyuno, M., Yamashita, Y., & Nakajima, Y.
  • Organizer: The 6th International Conference on Corpus Linguistics
  • Place of Presentation: Gran Canaria, Spain
  • Year and Date: 2014-05-22 – 2014-05-24
• [Presentation] 脳磁図を用いた神経ネットワーク障害の解明 (2014)
  • Author(s): 飛松省三
  • Organizer: 第55回日本神経学会学術大会
  • Place of Presentation: 福岡
  • Year and Date: 2014-05-21 – 2014-05-24