• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

A study on production mechanism and modeling of emotional speech

Research Project

Project/Area Number 16K00297
Research InstitutionJapan Advanced Institute of Science and Technology

Principal Investigator

党 建武  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)

Co-Investigator(Kenkyū-buntansha) 田中 宏和  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫  札幌保健医療大学, 保健医療学部, 教授 (20422199)
Project Period (FY) 2016-04-01 – 2019-03-31
Keywords音声生成 / 発話計画 / 脳ネットワーク / 脳活動の動的特性
Outline of Annual Research Achievements

音声コミュニケーションにおいては、発話意図から音声生成まで、脳ネットワークがどのように活動しているか、脳ネットワークの間にはどのように情報を交換しているかについて、謎がまだ多かった。前年度に眼球運動を用いた行動学的な研究では、連続朗読音声における発話計画をする際、単語ごとの潜時時間は運動指令の作成のみならず、語彙の理解にも依存していることは明らかにした。平成30年度では、我々は眼球運動と脳電図を用いて、前年度の行動学的な研究結果を検証した。
本研究では、我々は既存のfMRIに基づいた視覚処理、発話計画、語意処理、音韻処理などの脳ネットワークのテンプレートを用いて、文章を朗読する際全時間帯を通して観測した脳電信号をフィルタリングすることにより、脳ネットワークの活動を考察した。その結果、文頭単語の潜時時間に比べて、文末単語のそれは40%短縮された。短縮された分の内訳を分析してみると、語意処理以外の要素が多数存在していることを明らかにした。
全時間帯にわたって音声を生成する際の脳活動の動的特性を分析したところ、左半球にある語意処理ネットワーク、正字処理ネットワーク、音韻処理ネットワーク及び右半球にある韻律処理ネットワークや発話計画ネットワークを活動している。また、両側の聴覚ネットワークとマルティセンサーリ統合ネットワークも音声生成にかかわっていることを明らかにした。
また、言語理解のメカニズムを調べるため、漢字の発音または形状の間違った漢字を摂動として入れた文章を被験者に読ませる際、眼球運動装置によって理解のプロセス考察した。その結果、漢字の文章を理解するとき、被験者がまずbottom-upの処理を実施したあと、top-downの処理を行い、語意理解には文字の形状より文字の発音が優位であることが分かった。

  • Research Products

    (15 results)

All 2019 2018

All Journal Article (5 results) (of which Int'l Joint Research: 5 results,  Peer Reviewed: 5 results) Presentation (9 results) (of which Int'l Joint Research: 9 results) Book (1 results)

  • [Journal Article] Multi-kernel SVM based depression recognition using social media data2019

    • Author(s)
      Zhichao Peng, Qinghua Hu, Jianwu Dang
    • Journal Title

      International Journal of Machine Learning and Cybernetics

      Volume: 10 Pages: 43-57

    • DOI

      doi.org/10.1007/s13042-017-0697-1

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Watermarking Based on Compressive Sensing for Digital Speech Detection and Recovery2018

    • Author(s)
      Wenhuan Lu, Zonglei Chen, Ling Li, Xiaochun Cao, Jianguo Wei, Naixue Xiong, Jian Li and Jianwu Dang
    • Journal Title

      Sensors

      Volume: 18 Pages: 1-22

    • DOI

      doi: 10.3390/s18072390

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Incorporating network structure with node contents for community detection on large networks using deep learning2018

    • Author(s)
      Cao Jinxin, Jin Di, Yang Liang, Dang Jianwu
    • Journal Title

      Neurocomputing

      Volume: 297 Pages: 71-81

    • DOI

      doi.org/10.1016/j.neucom.2018.01.065

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Phase and reverberation aware DNN for distant-talking speech enhancement2018

    • Author(s)
      Zeyan Oo, Longbiao Wang, Khomdet Phapatanaburi, Masahiro Iwahashi, Seiichi Nakagawa, Jianwu Dang
    • Journal Title

      Multimedia Tools Appl

      Volume: 77 Pages: 18865-18880

    • DOI

      doi.org/10.1007/s11042-018-5686-1

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Unsupervised measure of Chinese lexical semantic similarity using correlated graph model for news story segmentation2018

    • Author(s)
      Wei Feng, Xuecheng Nie, Yujun Zhang, Lei Xie, Jianwu Dang
    • Journal Title

      Neurocomputing

      Volume: 318 Pages: 236-247

    • DOI

      doi.org/10.1016/j.neucom.2018.08.061

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] A feature fusion method based on extreme learning machine for speech emotion recognition2018

    • Author(s)
      L. Guo, L. Wang, J. Dang, Linjuan Zhang, Haotian Guan
    • Organizer
      ICASSP 2018
    • Int'l Joint Research
  • [Presentation] Revealing Spatiotemporal Brain Dynamics of Speech Production Based on EEG and Eye Movement2018

    • Author(s)
      Bin Zhao, Jinfeng Huang, Jianwu Dang, Gaoyan Zhang
    • Organizer
      INTERSPEECH2018
    • Int'l Joint Research
  • [Presentation] Multiple Phase Information Combination for Replay Attacks Detection2018

    • Author(s)
      Dongbo Li, Longbiao Wang, Jianwu Dang, Meng Liu, Zeyan Oo, Seiichi Nakagawa, Haotian Guan, Xiangang Li
    • Organizer
      INTERSPEECH2018
    • Int'l Joint Research
  • [Presentation] Speech Emotion Recognition by Combining Amplitude and Phase Information Using Convolutional Neural Network2018

    • Author(s)
      Lili Guo, Longbiao Wang, Jianwu Dang, Linjuan Zhang, Haotian Guan, Xiangang Li
    • Organizer
      INTERSPEECH2018
    • Int'l Joint Research
  • [Presentation] Efficient Multi-Spike Learning with Tempotron-like LTP and PSD-like LTD2018

    • Author(s)
      Qiang Yu, Longbiao Wang, Jianwu Dang
    • Organizer
      International Conference on Neural Information Processing (ICONIP 2018)
    • Int'l Joint Research
  • [Presentation] Convolutional Neural Network with Spectrogram and Perceptual Features for Speech Emotion Recognition2018

    • Author(s)
      Linjuan Zhang, Longbiao Wang, Jianwu Dang, Lili Guo, Haotian Guan
    • Organizer
      International Conference on Neural Information Processing (ICONIP 2018)
    • Int'l Joint Research
  • [Presentation] Distant-talking Speech Recognition Based on Multi-objective Learning using Phase and Magnitude-based Feature2018

    • Author(s)
      Dongbo Li, Longbiao Wang, Jianwu Dang, Meng Ge, Haotian Guan,
    • Organizer
      ISCSLP2018
    • Int'l Joint Research
  • [Presentation] Investigation of the Comprehension Process during Silent Reading based on Eye Movements2018

    • Author(s)
      Di Zhou, Jinfeng Huang, Jianwu Dang
    • Organizer
      ISCSLP2018
    • Int'l Joint Research
  • [Presentation] Replay Attacks Detection Using Phase and Magnitude Features with Various Frequency Resolutions2018

    • Author(s)
      Meng Liu, Longbiao Wang, Zeyan Oo, Jianwu Dang
    • Organizer
      ISCSLP2018
    • Int'l Joint Research
  • [Book] Studies on Speech Production2018

    • Author(s)
      Qiang Fang, Jianwu Dang, Pascal Perrier, Jianguo Wei, Longbiao Wang, Nan Yan
    • Total Pages
      236
    • Publisher
      Springer
    • ISBN
      978-3-030-00125-4

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi