• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study on the perception of nonlinguistic information based on the auditory perception mechanism

Research Project

Project/Area Number 17J08312
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Perceptual information processing
Research InstitutionJapan Advanced Institute of Science and Technology

Principal Investigator

朱 治  北陸先端科学技術大学院大学, 先端科学技術研究科, 特別研究員(PD)

Project Period (FY) 2017-04-26 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2017: ¥900,000 (Direct Cost: ¥900,000)
Keywords聴覚 / 感情音声 / 音声個人性 / 音声知覚
Outline of Annual Research Achievements

本研究の大きな目的は、人間はどのように音声から発話者の個人性と感情情報を知覚しているのかを解明することです。特に、音声生成の面ではなく、人間の聴知覚メカニズムに基づいた手法で聴覚の面から検討することが特色になります。これまでの検討では、音声の変調周波数上限が低くなるにつれ、話者及び感情の識別率が有意に低下することを明らかにしました。また、音声の変調スペクトログラムとその特徴量は心理データと高い相関を持ち、変調スペクトル特徴が音声の個人性と感情知覚に寄与していることが示唆されました。以上の検討では、非言語情報の知覚における振幅包絡線の変調成分の役割に着目したため、雑音や残響のない環境を想定して、心理実験を行っていました。しかし、実環境では雑音や残響などの外乱が混在しております。このような環境で音声の言語・非言語情報の知覚がどのような影響を受けているかを知ることは音声の変調知覚を知る上で重要なことです。上述の疑問点から、雑音環境、残響環境及び雑音残響環境における雑音駆動音声の個人性及び感情の知覚について検討しました。具体的には、雑音や残響を付加した音声をもとに雑音駆動音声の刺激音声を作成し、話者弁別と感情認識実験を実行しました。実験の結果により、極めて劣悪な状況を除く日常的な音環境では、雑音駆動音声の個人性と感情の知覚が残響や雑音の影響を受けにくいことがわかりました。また、雑音と残響の相互作用は認められませんでした。そのため、話者弁別率ならびに感情認識率を雑音と残響の効果でそれぞれ説明できることがわかりました。雑音と残響が雑音駆動音声の個人性と感情の知覚により影響していない条件が存在し、残響時間と雑音対信号比がある閾値を越えると、雑音と残響の影響が次第に大きくなることが示唆されました。今回の検討により、実環境における音声の変調成分と音声の非言語情報知覚の関係を明らかにしました。

Research Progress Status

平成30年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

平成30年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (15 results)

All 2018 2017

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (12 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] Contribution of modulation spectral features on the perception of vocal-emotion using noise-vocoded speech2018

    • Author(s)
      Zhi Zhu, Yukiko Araki, Ryota Miyauchi and Masashi Unoki
    • Journal Title

      Acoustical Science and Technology

      Volume: 39 Issue: 6 Pages: 379-386

    • DOI

      10.1250/ast.39.379

    • NAID

      40021703797

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Year and Date
      2018-11-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Contributions of temporal cue on the perception of speaker individuality and vocal emotion for noise-vocoded speech2018

    • Author(s)
      Zhi Zhu, Yukiko Araki, Ryota Miyauchi and Masashi Unoki
    • Journal Title

      Acoustical Science and Technology

      Volume: 39 Issue: 3 Pages: 234-242

    • DOI

      10.1250/ast.39.234

    • NAID

      130006730824

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Year and Date
      2018-05-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Contributions of Temporal Cue on the Perception of Speaker Individuality and Vocal Emotion for Noise-vocoded Speech2018

    • Author(s)
      Zhi Zhu, Ryota Miyauchi, Yukiko Araki, and Masashi Unoki
    • Journal Title

      Acoustical Science and Technology

      Volume: 印刷中

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Presentation] 雑音残響環境が雑音駆動音声の個人性及び感情情報の知覚に与える影響2018

    • Author(s)
      川村美帆,朱治,関谷伸一,鵜木祐史
    • Organizer
      日本音響学会聴覚研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 雑音残響環境における雑音駆動音声の個人性及び感情情報の知覚に関する検討2018

    • Author(s)
      朱治,川村美帆,関谷伸一,鵜木祐史
    • Organizer
      日本音響学会秋季発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] AUDITORY-INSPIRED END-TO-END SPEECH EMOTION RECOGNITION USING 3D CONVOLUTIONAL RECURRENT NEURAL NETWORKS BASED ON SPECTRAL-TEMPORAL REPRESENTATION2018

    • Author(s)
      Zhichao Peng, Zhi Zhu, Masashi Unoki, Jianwu Dang, Masato Akagi
    • Organizer
      IEEE International Conference on Multimedia and Expo
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Study on the relationship between modulation spectral features and the perception of vocal emotion with noise-vocoded speech2018

    • Author(s)
      Zhi Zhu, Ryota Miyauchi, Yukiko Araki, Masashi Unoki
    • Organizer
      176th Meeting Acoustical Society of America
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 雑音環境が雑音駆動音声の個人性・感情知覚に与える影響2018

    • Author(s)
      川村美帆、朱治、鵜木祐史
    • Organizer
      日本音響学会聴覚研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 残響が雑音駆動音声の個人性・感情知覚に与える影響の検討2018

    • Author(s)
      朱治,関谷伸一,鵜木祐史
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Speech emotion recognition using MPCRNN based on Gammatone auditory filterbank2017

    • Author(s)
      Zhichao Peng, Zhi Zhu, Masashi Unoki, Jianwu Dang, and Masato Akagi
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Feasibility of Vocal Emotion Conversion on Modulation Spectrogram for Simulated Cochlear Implants2017

    • Author(s)
      Zhi Zhu, Ryota Miyauchi, Yukiko Araki, and Masashi Unoki
    • Organizer
      European Signal Processing Conference
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Important role of temporal cues in speaker identification for simulated cochlear implants2017

    • Author(s)
      Zhi Zhu, Ryota Miyauchi, Yukiko Araki, and Masashi Unoki
    • Organizer
      International Workshop on Challenges in Hearing Assistive Technology
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Study on the relationship between modulation spectral features and the perception of nonlinguistic information with noise-vocoded speech2017

    • Author(s)
      Zhi Zhu, Ryota Miyauchi, Yukiko Araki, and Masashi Unoki
    • Organizer
      The New Zealand/Japan Joint Research Meeting on Psychological & Physiological Acoustics and Electroacoustic
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 雑音駆動音声の言語・非言語知覚と室内音響特性による影響の検討2017

    • Author(s)
      関谷伸一,朱治,鵜木祐史
    • Organizer
      日本音響学会聴覚研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 雑音駆動音声の個人性知覚に寄与する変調周波数成分の検討2017

    • Author(s)
      朱治,宮内良太,荒木友希子,鵜木祐史
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2017-05-25   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi