• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

情動による感情音声発話のメカニズムとモデル化に関する研究

研究課題

研究課題/領域番号 16K00297
研究機関北陸先端科学技術大学院大学

研究代表者

党 建武  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)

研究分担者 田中 宏和  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫  札幌保健医療大学, 保健医療学部, 教授 (20422199)
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード音声生成 / 発話計画 / 脳ネットワーク / 脳活動の動的特性
研究実績の概要

音声コミュニケーションにおいては、発話意図から音声生成まで、脳ネットワークがどのように活動しているか、脳ネットワークの間にはどのように情報を交換しているかについて、謎がまだ多かった。前年度に眼球運動を用いた行動学的な研究では、連続朗読音声における発話計画をする際、単語ごとの潜時時間は運動指令の作成のみならず、語彙の理解にも依存していることは明らかにした。平成30年度では、我々は眼球運動と脳電図を用いて、前年度の行動学的な研究結果を検証した。
本研究では、我々は既存のfMRIに基づいた視覚処理、発話計画、語意処理、音韻処理などの脳ネットワークのテンプレートを用いて、文章を朗読する際全時間帯を通して観測した脳電信号をフィルタリングすることにより、脳ネットワークの活動を考察した。その結果、文頭単語の潜時時間に比べて、文末単語のそれは40%短縮された。短縮された分の内訳を分析してみると、語意処理以外の要素が多数存在していることを明らかにした。
全時間帯にわたって音声を生成する際の脳活動の動的特性を分析したところ、左半球にある語意処理ネットワーク、正字処理ネットワーク、音韻処理ネットワーク及び右半球にある韻律処理ネットワークや発話計画ネットワークを活動している。また、両側の聴覚ネットワークとマルティセンサーリ統合ネットワークも音声生成にかかわっていることを明らかにした。
また、言語理解のメカニズムを調べるため、漢字の発音または形状の間違った漢字を摂動として入れた文章を被験者に読ませる際、眼球運動装置によって理解のプロセス考察した。その結果、漢字の文章を理解するとき、被験者がまずbottom-upの処理を実施したあと、top-downの処理を行い、語意理解には文字の形状より文字の発音が優位であることが分かった。

  • 研究成果

    (15件)

すべて 2019 2018

すべて 雑誌論文 (5件) (うち国際共著 5件、 査読あり 5件) 学会発表 (9件) (うち国際学会 9件) 図書 (1件)

  • [雑誌論文] Multi-kernel SVM based depression recognition using social media data2019

    • 著者名/発表者名
      Zhichao Peng, Qinghua Hu, Jianwu Dang
    • 雑誌名

      International Journal of Machine Learning and Cybernetics

      巻: 10 ページ: 43-57

    • DOI

      doi.org/10.1007/s13042-017-0697-1

    • 査読あり / 国際共著
  • [雑誌論文] Watermarking Based on Compressive Sensing for Digital Speech Detection and Recovery2018

    • 著者名/発表者名
      Wenhuan Lu, Zonglei Chen, Ling Li, Xiaochun Cao, Jianguo Wei, Naixue Xiong, Jian Li and Jianwu Dang
    • 雑誌名

      Sensors

      巻: 18 ページ: 1-22

    • DOI

      doi: 10.3390/s18072390

    • 査読あり / 国際共著
  • [雑誌論文] Incorporating network structure with node contents for community detection on large networks using deep learning2018

    • 著者名/発表者名
      Cao Jinxin, Jin Di, Yang Liang, Dang Jianwu
    • 雑誌名

      Neurocomputing

      巻: 297 ページ: 71-81

    • DOI

      doi.org/10.1016/j.neucom.2018.01.065

    • 査読あり / 国際共著
  • [雑誌論文] Phase and reverberation aware DNN for distant-talking speech enhancement2018

    • 著者名/発表者名
      Zeyan Oo, Longbiao Wang, Khomdet Phapatanaburi, Masahiro Iwahashi, Seiichi Nakagawa, Jianwu Dang
    • 雑誌名

      Multimedia Tools Appl

      巻: 77 ページ: 18865-18880

    • DOI

      doi.org/10.1007/s11042-018-5686-1

    • 査読あり / 国際共著
  • [雑誌論文] Unsupervised measure of Chinese lexical semantic similarity using correlated graph model for news story segmentation2018

    • 著者名/発表者名
      Wei Feng, Xuecheng Nie, Yujun Zhang, Lei Xie, Jianwu Dang
    • 雑誌名

      Neurocomputing

      巻: 318 ページ: 236-247

    • DOI

      doi.org/10.1016/j.neucom.2018.08.061

    • 査読あり / 国際共著
  • [学会発表] A feature fusion method based on extreme learning machine for speech emotion recognition2018

    • 著者名/発表者名
      L. Guo, L. Wang, J. Dang, Linjuan Zhang, Haotian Guan
    • 学会等名
      ICASSP 2018
    • 国際学会
  • [学会発表] Revealing Spatiotemporal Brain Dynamics of Speech Production Based on EEG and Eye Movement2018

    • 著者名/発表者名
      Bin Zhao, Jinfeng Huang, Jianwu Dang, Gaoyan Zhang
    • 学会等名
      INTERSPEECH2018
    • 国際学会
  • [学会発表] Multiple Phase Information Combination for Replay Attacks Detection2018

    • 著者名/発表者名
      Dongbo Li, Longbiao Wang, Jianwu Dang, Meng Liu, Zeyan Oo, Seiichi Nakagawa, Haotian Guan, Xiangang Li
    • 学会等名
      INTERSPEECH2018
    • 国際学会
  • [学会発表] Speech Emotion Recognition by Combining Amplitude and Phase Information Using Convolutional Neural Network2018

    • 著者名/発表者名
      Lili Guo, Longbiao Wang, Jianwu Dang, Linjuan Zhang, Haotian Guan, Xiangang Li
    • 学会等名
      INTERSPEECH2018
    • 国際学会
  • [学会発表] Efficient Multi-Spike Learning with Tempotron-like LTP and PSD-like LTD2018

    • 著者名/発表者名
      Qiang Yu, Longbiao Wang, Jianwu Dang
    • 学会等名
      International Conference on Neural Information Processing (ICONIP 2018)
    • 国際学会
  • [学会発表] Convolutional Neural Network with Spectrogram and Perceptual Features for Speech Emotion Recognition2018

    • 著者名/発表者名
      Linjuan Zhang, Longbiao Wang, Jianwu Dang, Lili Guo, Haotian Guan
    • 学会等名
      International Conference on Neural Information Processing (ICONIP 2018)
    • 国際学会
  • [学会発表] Distant-talking Speech Recognition Based on Multi-objective Learning using Phase and Magnitude-based Feature2018

    • 著者名/発表者名
      Dongbo Li, Longbiao Wang, Jianwu Dang, Meng Ge, Haotian Guan,
    • 学会等名
      ISCSLP2018
    • 国際学会
  • [学会発表] Investigation of the Comprehension Process during Silent Reading based on Eye Movements2018

    • 著者名/発表者名
      Di Zhou, Jinfeng Huang, Jianwu Dang
    • 学会等名
      ISCSLP2018
    • 国際学会
  • [学会発表] Replay Attacks Detection Using Phase and Magnitude Features with Various Frequency Resolutions2018

    • 著者名/発表者名
      Meng Liu, Longbiao Wang, Zeyan Oo, Jianwu Dang
    • 学会等名
      ISCSLP2018
    • 国際学会
  • [図書] Studies on Speech Production2018

    • 著者名/発表者名
      Qiang Fang, Jianwu Dang, Pascal Perrier, Jianguo Wei, Longbiao Wang, Nan Yan
    • 総ページ数
      236
    • 出版者
      Springer
    • ISBN
      978-3-030-00125-4

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi