• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Rhythm in the brain for speech comprehension

Research Project

Project/Area Number 19H00630
Research InstitutionKyushu University

Principal Investigator

上田 和夫  九州大学, 芸術工学研究院, 准教授 (80254316)

Co-Investigator(Kenkyū-buntansha) 松尾 行雄  東北学院大学, 教養学部, 教授 (40323117)
Remijn GerardB.  九州大学, 芸術工学研究院, 准教授 (40467098)
竹市 博臣  国立研究開発法人理化学研究所, 情報統合本部, 専任技師 (60242020)
光藤 崇子  九州大学, 医学研究院, 特別研究員(RPD) (70423522)
平野 羊嗣  宮崎大学, 医学部, 准教授 (90567497)
Wolf Alexandra  国立研究開発法人理化学研究所, 革新知能統合研究センター, 基礎科学特別研究員 (70936955)
Project Period (FY) 2019-04-01 – 2024-03-31
Keywords時間窓 / 音声知覚 / 劣化音声 / 脳活動計測 / 眼球運動計測
Outline of Annual Research Achievements

通常の音声では声帯による周期的な振動から声の高さに関する情報が得られる。この情報は音声が断続されたときに音声の断片をつなぎ合わせるために重要であることがわかっている。今年度は以下のようなモザイク音声を用いた研究を実施した。すなわち,声の高さに関する情報を取り除き,さらに言葉を表す記号としての情報(音声の振幅包絡)を,いくつかの周波数帯域における階段状に劣化させた。そして,(1) モザイク音声を断続すると大幅に了解度が低下すること,(2) 一方で,階段状の振幅包絡を延長し,断続によって生じた空白区間を徐々に埋めていくと,断続区間長 40 ミリ秒までの範囲内では劇的に了解度が向上することが示された。このことから,空白が埋められることによってモザイク音声の断片がよりまとまりやすくなり,了解度が向上したのではないかと考え,音響学におけるトップジャーナルである国際査読誌,米国音響学会誌に論文を発表したところ,この学術雑誌からオンライン・ジャーナルクラブに招待され,発表,討論を行った。この続編となる実験もすでに実施し,論文の下書きを開始している。この他に (1) 周波数および時間の両次元で断続を行った「市松音声」について,4, 8, 16, 20 帯域の条件を含めて了解度を測定する実験,(2) 市松音声の無音区画を雑音で置換し(市松音声と逆位相の市松雑音で無音区画を充填),雑音のレベルを操作して了解度への影響を調べる実験,(3) 健常者と精神疾患患者の画像刺激に対する眼球運動計測から,脳内リズムの違いについて考察する研究,(4) 市松音声の聴取時における脳活動を脳磁図で調べる実験,(5) 話速が異なる音声に対し,特定の周波数もしくは全体を局所時間反転音声させたときの音声明瞭度の変化を調べる実験を実施し,論文執筆に向けてデータの蓄積を行った。このうち (1) はすでに投稿準備中である。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

音響学におけるトップジャーナルである米国音響学会誌から論文を出版することができ,オンライン・ジャーナルクラブに招待されたため。さらに今後の論文執筆に貢献する貴重なデータが得られたため。

Strategy for Future Research Activity

すでに得られたデータに関しては出版を急ぐ。「市松音声」に関する研究から,因子分析の結果得られた 4 周波数帯域が音声知覚にとって重要な独立した四つの手がかりを表していること,また音声の了解度に対する刺激区間長の影響はこれら四帯域において変わらないことが実証されたため,周波数帯域にかかわらず了解度を低下させる要因となる区間長 160 ミリ秒という条件が聴覚のどのような特性と関係しているのかを,市松音声の両耳分離呈示,二話者の音声を組み合わせた市松交代音声などの刺激を用いて今後,解明していく。さらに,調波複合音を用いて周波数帯域の交代が聴覚体制化におよぼす影響を調べることにより,聴覚のどのような一般的な特性が聴覚体制化および音脈分凝と関係しているのかを解明していく。

  • Research Products

    (36 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (24 results) (of which Int'l Joint Research: 16 results,  Invited: 2 results) Book (2 results) Remarks (5 results) Funded Workshop (1 results)

  • [Int'l Joint Research] University of British Columbia(カナダ)

    • Country Name
      CANADA
    • Counterpart Institution
      University of British Columbia
  • [Journal Article] Auditory grouping is necessary to understand interrupted mosaic speech stimuli2022

    • Author(s)
      Ueda Kazuo、Takeichi Hiroshige、Wakamiya Kohei
    • Journal Title

      The Journal of the Acoustical Society of America

      Volume: 152 Pages: 970~980

    • DOI

      10.1121/10.0013425

    • Peer Reviewed / Open Access
  • [Journal Article] Roles of temporal proximity between sound edges in the perceptual organization of veridical and illusory auditory events2022

    • Author(s)
      Nakajima Yoshitaka、Remijn Gerard B.、Kamimura Yuki、Kanafuka Kyoko
    • Journal Title

      Hearing Research

      Volume: 422 Pages: 108546~108546

    • DOI

      10.1016/j.heares.2022.108546

    • Peer Reviewed / Open Access
  • [Journal Article] Detection of deviance in Japanese kanji compound words2022

    • Author(s)
      Egashira Yuka、Kaga Yoshimi、Gunji Atsuko、Kita Yosuke、Kimura Motohiro、Hironaga Naruhito、Takeichi Hiroshige、Hayashi Sayuri、Kaneko Yuu、Takahashi Hidetoshi、Hanakawa Takashi、Okada Takashi、Inagaki Masumi
    • Journal Title

      Frontiers in Human Neuroscience

      Volume: 16 Pages: -

    • DOI

      10.3389/fnhum.2022.913945

    • Peer Reviewed / Open Access
  • [Presentation] 劣化音声の了解度回復2023

    • Author(s)
      上田和夫
    • Organizer
      五感応用デバイス研究開発センター セミナー
    • Invited
  • [Presentation] Auditory grouping facilitates understanding interrupted mosaic speech stimuli2022

    • Author(s)
      Kazuo Ueda, Hiroshige Takeichi, and Kohei Wakamiya
    • Organizer
      Fechner Day 2022: The 38th Annual Meeting of the International Society for Psychophysics
    • Int'l Joint Research
  • [Presentation] Checkerboard speech: A trough in the intelligibility curves2022

    • Author(s)
      Linh Doan, Kazuo Ueda, Hiroshige Takeichi, and Gerard B. Remijn
    • Organizer
      Fechner Day 2022: The 38th Annual Meeting of the International Society for Psychophysics
    • Int'l Joint Research
  • [Presentation] Auditory stream segregation for complex tones with switching frequency bands2022

    • Author(s)
      Geng-Yan Jhang, Kazuo Ueda, Hiroshige Takeichi, and Gerard B. Remijn
    • Organizer
      Fechner Day 2022: The 38th Annual Meeting of the International Society for Psychophysics
    • Int'l Joint Research
  • [Presentation] Information processing abnormalities among patients with schizophrenia in a decision-making task2022

    • Author(s)
      Alexandra Wolf, Shunsuke Tamura, Takako Mitsudo, Kazuo Ueda, and Yoji Hirano
    • Organizer
      Fechner Day 2022: The 38th Annual Meeting of the International Society for Psychophysics
    • Int'l Joint Research
  • [Presentation] Magnetoencephalography of processing mosaic and checkerboard speech2022

    • Author(s)
      Hiroshige Takeichi, Kazuo Ueda, Takako Mitsudo, Alexandra Wolf, and Yoji Hirano
    • Organizer
      Fechner Day 2022: The 38th Annual Meeting of the International Society for Psychophysics
    • Int'l Joint Research
  • [Presentation] Auditory grouping is necessary to understand interrupted mosaic speech stimuli2022

    • Author(s)
      Kazuo Ueda, Hiroshige Takeichi, and Kohei Wakamiya
    • Organizer
      Acoustical Society of America, P&P Virtual Journal Club
    • Int'l Joint Research / Invited
  • [Presentation] Analysis of enhanced speech quality using correspondence analysis2022

    • Author(s)
      Kimiko Negi, Gerard B. Remijn, Yoshitaka Nakajima, and Kazuo Ueda,
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] Magnetoencephalography elucidates processing mosaic and checkerboard speech2022

    • Author(s)
      Hiroshige Takeichi, Kazuo Ueda, Takako Mitsudo, Alexandra Wolf, and Yoji Hirano,
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] Phonemic restoration and energetic masking with checkerboard speech stimuli2022

    • Author(s)
      Koutaro Munechika, Kazuo Ueda, Hiroshige Takeichi, and Gerard B. Remijn
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] A trough in intelligibility curves for checkerboard speech stimuli with four and eight frequency bands2022

    • Author(s)
      Linh Doan, Kazuo Ueda, Hiroshige Takeichi, and Gerard B. Remijn
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] Auditory stream segregation for complex tones with switching frequency bands: Rivaling factors for segregation2022

    • Author(s)
      Geng-Yan Jhang, Kazuo Ueda, Hiroshige Takeichi, and Gerard B. Remijn
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] Illusory auditory event formation in different frequency regions2022

    • Author(s)
      Remijn, G.B., Nakajima, Y.
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] On the illusory continuity in the gap transfer illusion: A few auditory demonstrations2022

    • Author(s)
      Nakajima, Y., Remijn, G.B.
    • Organizer
      ASJ Auditory Research Meeting
    • Int'l Joint Research
  • [Presentation] The Potential of Gaze Parameters in the Diagnosis of Mild Cognitive Impairment2022

    • Author(s)
      Wolf, A.
    • Organizer
      First International Workshop on Complex Systems Science & Health Neuroscience, 28 November, Kyoto, Japan
    • Int'l Joint Research
  • [Presentation] Eye Movement Abnormalities in Older Adults With and Without Mild Cognitive Impairment.2022

    • Author(s)
      Wolf A.
    • Organizer
      A*STAR CFAR / RIKEN-AIP Workshop, 16 December, Hybrid event, Singapore
    • Int'l Joint Research
  • [Presentation] A preliminary study on evaluative responses toward naturalistic food images among patients with schizophrenia and healthy controls2022

    • Author(s)
      Wolf, A., Tamura, S., Mitsudo, T., Ueda, K., & Hirano, Y.
    • Organizer
      ECVP2022, 28 August - 01 September 2022, Nijmegen, Netherlands
    • Int'l Joint Research
  • [Presentation] Regaining intelligibility of interrupted mosaic speech by stretching2022

    • Author(s)
      Kazuo Ueda, Hiroshige Takeichi
    • Organizer
      日本心理学会第86回大会
  • [Presentation] Auditory grouping by stretching: Regaining intelligibility of interrupted mosaic speech stimuli2022

    • Author(s)
      Kazuo Ueda, Hiroshige Takeichi, Kohei Wakamiya, and Gerard B. Remijn
    • Organizer
      日本音響学会秋季研究発表会
  • [Presentation] 市松音声の了解度:周波数帯域数と区間長の効果2022

    • Author(s)
      ドアン リン,上田和夫,竹市博臣,ジェラード B. レメイン
    • Organizer
      日本音響学会秋季研究発表会
  • [Presentation] 市松音声のエネルギー・マスキング2022

    • Author(s)
      棟近 光太郎,上田和夫,竹市博臣,ジェラード B. レメイン
    • Organizer
      日本音響学会秋季研究発表会
  • [Presentation] 断続伸張モザイク音声:時間分解精度と断続が了解度におよぼす効果の分離2022

    • Author(s)
      橋本将史,上田和夫,竹市博臣,若宮幸平,ジェラード B. レメイン
    • Organizer
      日本音響学会聴覚研究会
  • [Presentation] 英語の第二言語習得に母語の韻律が与える影響:日本語,中国語母語話者間の比較検討2022

    • Author(s)
      川口智史,ジェラード B. レメイン
    • Organizer
      日本音響学会聴覚研究会
  • [Presentation] 統合失調症者における自発-聴覚関連課題間のγ帯域神経振動異常2022

    • Author(s)
      三笘良, 田村俊介, 成儒彬, 光藤崇子, 高井善文, 中村一太, 中尾 智博, 鬼塚 俊明, 平野 羊嗣
    • Organizer
      第118回 日本精神神経学会学術総会
  • [Book] 感覚知覚の心理学2023

    • Author(s)
      上田和夫,他 14 名
    • Total Pages
      17
    • Publisher
      朝倉書店
    • ISBN
      978-4-254-52034-7
  • [Book] 知覚と感覚の心理学2022

    • Author(s)
      原口 雅浩,上田和夫,他
    • Total Pages
      296
    • Publisher
      サイエンス社
    • ISBN
      978-4-7819-1551-7
  • [Remarks] Perceptual restoration of degraded speech...

    • URL

      https://www.kyushu-u.ac.jp/en/research/information/artdesign/design/design51

  • [Remarks] 劣化音声の知覚的修復:音声の断片をつなぎ合わせて意味のあるまとまりにする聴覚の働きとその限界

    • URL

      https://www.kyushu-u.ac.jp/ja/research/information/artdesign/design/design51

  • [Remarks] Ueda Laboratory

    • URL

      https://www.design.kyushu-u.ac.jp/~ueda/research.html

  • [Remarks] 上田研究室

    • URL

      https://www.design.kyushu-u.ac.jp/~ueda/research_j.html

  • [Remarks] 九州大学研究者情報

    • URL

      https://hyoka.ofc.kyushu-u.ac.jp/search/details/K002356/research.html

  • [Funded Workshop] ASJ Auditory Research Meeting2022

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi