• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

情動による感情音声発話のメカニズムとモデル化に関する研究

研究課題

研究課題/領域番号 16K00297
研究機関北陸先端科学技術大学院大学

研究代表者

党 建武  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)

研究分担者 田中 宏和  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫  札幌保健医療大学, 保健医療学部, 准教授 (20422199)
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード音声生成 / 感情音声 / 脳電図 / fMRI / 眼球運動 / 神経生理学モデル
研究実績の概要

情動により駆動される感情は、人間の本能で、音声コミュニケーションには欠かせない機能を果たしている。しかし、これまで脳機能に関する計算モデルの研究は知的機能のみにとどまり、情動に関する機能にほとんど触れなかった。そのため、本研究では、脳神経学の最新知見に基づいて、情動による感情音声発話のメカニズムを解明し、感情生成と知覚の機能を取り入れ感情音声発話の神経生理学的計算モデルを構築することを目的とする。
平成29年度では、我々は眼球運動と脳電図を用いて、文章を朗読する際音声計画のメカニズムを考察した。その結果、単語ごとの潜時時間は運動指令の構築のみならず、語彙の理解に依存していることは明らかにした。また、文章を朗読したときに、脳内ネットワークにおける情報の流れを明らかにした。
本研究では、真の言葉と偽の言葉および名詞と動詞を用い、被験者に聴取させながら脳の動的な活動を考察した。その結果、言葉の理解時に脳ネットワークにおける各部位の活動と情報の流れを明らかにした。また、名詞と動詞に関する神経学的区分について文法的な要素でなく語彙は重要な役割を果たしていることが分かった。
音声生成と音声知覚との関係について、調音部位の異なる単語を被験者に聴取させ、脳電図を用いて発話運動野の脳活動を観測した。その結果、唇の突き出し有無の言葉に対して、口唇に対応する発話運動野に活動パターンが異なることが明らかにした。
感情知覚について、我々はfMRIを用いて、被験者に感情音声と感情表情を見せて脳内の活動を計測した。データの分析に基いて、脳の感情モデルを構築している。fMRIは時間分解能が低いという欠点を補正するため、本研究では、感情が豊かである動画を被験者に見せながら脳電図を計測し、脳神経ネットワークの動的変化を分析している。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

1.音声生成のメカニズムの脳電図研究についていくつかの研究成果を発表した。
2.音声生成と音声知覚に関する脳研究の成果を発表した。
3.感情音声の分析は順調に進んでいる。
4.感情音声に関するfMRIデータと脳電図データを収録して、分析を行っている。

今後の研究の推進方策

計画通り進める予定である。

次年度使用額が生じた理由

物品を購入する際、価格の変動により残額が少々出てきた。その残額は、今年度の助成金に合わせて使用する予定である。

  • 研究成果

    (21件)

すべて 2018 2017 その他

すべて 国際共同研究 (2件) 雑誌論文 (5件) (うち国際共著 3件、 査読あり 5件、 オープンアクセス 1件) 学会発表 (14件) (うち国際学会 12件、 招待講演 3件)

  • [国際共同研究] UCSD(米国)

    • 国名
      米国
    • 外国機関名
      UCSD
  • [国際共同研究] 天津大学/天津理工大学(中国)

    • 国名
      中国
    • 外国機関名
      天津大学/天津理工大学
  • [雑誌論文] Temporal recalibration of motor and visual potentials in lag adaptation in voluntary movement2018

    • 著者名/発表者名
      Chang Cai, Kenji Ogawa, Takanori Kochiyama, Hirokazu Tanaka, Hiroshi Imamizu
    • 雑誌名

      NeuroImage

      巻: 172 ページ: 654-662

    • 査読あり / 国際共著
  • [雑誌論文] EEG SOURCE RECONSTRUCTION EVIDENCE FOR THE NOUN-VERB NEURAL DISSOCIATION ALONG SEMANTIC DIMENSIONS2017

    • 著者名/発表者名
      BIN ZHAO, JIANWU DANG and GAOYAN ZHANG
    • 雑誌名

      Neuroscience

      巻: 359 ページ: 183-195

    • DOI

      http://dx.doi.org/10.1016/j.neuroscience.2017.07.019

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Modeling of the tongue tip in Standard Chinese using MRI2017

    • 著者名/発表者名
      Wang G, Dang J, Kong J.
    • 雑誌名

      /journal of Tsinghua University

      巻: 57 ページ: 158-163

    • 査読あり / 国際共著
  • [雑誌論文] 運動制御と感覚処理の最適理論2017

    • 著者名/発表者名
      田中宏和
    • 雑誌名

      日本ロボット学会誌

      巻: 35 ページ: 500-505

    • 査読あり
  • [雑誌論文] コンピュータが歌うということ2017

    • 著者名/発表者名
      赤木正人
    • 雑誌名

      日本音響学会誌

      巻: 73 ページ: 210-211

    • 査読あり
  • [学会発表] 試行再現性最大法:脳波信号解析とBCI応用への可能性2018

    • 著者名/発表者名
      田中宏和
    • 学会等名
      研究会 「日常のこころを読み解く脳信号解析法」
    • 招待講演
  • [学会発表] Estimation of glottal source waveform and vocal tract shape for singing-voice analysis2018

    • 著者名/発表者名
      Kyoko Takahashi and Masato Akagi
    • 学会等名
      NCSP2018
    • 国際学会
  • [学会発表] Synthesis of expressive singing voice by F0, amplitude envelope and spectral feature conversion2018

    • 著者名/発表者名
      Thi-Hao Nguyen and Masato Akagi
    • 学会等名
      NCSP2018
    • 国際学会
  • [学会発表] A Neuro-Experimental Evidence for the Motor Theory of Speech Perception.,2017

    • 著者名/発表者名
      Zhao Bin, Gaoyan Zhang, Jianwu Dang
    • 学会等名
      InterSpeech2017
    • 国際学会
  • [学会発表] Neuronal Classifier for both Rate and Timing-Based Spike Patterns2017

    • 著者名/発表者名
      Yu Q, Wang L, Dang J.
    • 学会等名
      International Conference on Neural Information Processing.
    • 国際学会
  • [学会発表] Phonemic Restoration Based on the Movement Continuity of Articulation2017

    • 著者名/発表者名
      Zhao C, Wang L, Dang J.
    • 学会等名
      International Conference on Neural Information Processing
    • 国際学会
  • [学会発表] A hybrid method for acoustic analysis of the vocal tract during vowel production,, 2017, 2017.10.16-2017.10.19,2017

    • 著者名/発表者名
      Futang Wang, Darcy Qingzhi Hou, Dingyi Pan, Jianguo Wei, Jianwu Dang
    • 学会等名
      International Seminar on Speech Production (ISSP)
    • 国際学会
  • [学会発表] Estimation of Speech-planning mechanism based on eye movement,2017

    • 著者名/発表者名
      Jinfeng Huang, Di Zhou, Jianwu Dang,
    • 学会等名
      International Seminar on Speech Production (ISSP)
    • 国際学会
  • [学会発表] Articulatory Features for Robust Intelligibility Assessment of Dysarthria Speech2017

    • 著者名/発表者名
      Meng Yuan; Longbiao Wang; Hongcui Wang;Jianwu Dang; Ruiguo Yu
    • 学会等名
      International Seminar on Speech Production (ISSP)
    • 国際学会
  • [学会発表] Global monitoring of dynamic functional interactions in the brain during Chinese verbs perception2017

    • 著者名/発表者名
      Yuke Si; Jianwu Dang; Gaoyan Zhang
    • 学会等名
      International Seminar on Speech Production (ISSP)
    • 国際学会
  • [学会発表] Neural Evidence of the Cerebellum as a State Predictor2017

    • 著者名/発表者名
      H. Tanaka
    • 学会等名
      Chalk Talk Series, Institute of Neural Computation, University of California San Diego
    • 国際学会 / 招待講演
  • [学会発表] Speech Emotion Recognition Using MPCRNN based on Gammatone auditory Filterbank2017

    • 著者名/発表者名
      Zhichao Peng, Zhi Zhu, Masashi Unoki, Jianwu Dang, and Masato Akagi
    • 学会等名
      APSIPA2017
    • 国際学会
  • [学会発表] Commonalities of glottal sources and vocal tract shapes among speakers in emotional speech2017

    • 著者名/発表者名
      Li, Y., Sakakibara, K-I., Morikawa, D., and Akagi, M
    • 学会等名
      ISSP2017
    • 国際学会
  • [学会発表] 発話目的の違いに注目した感情音声発話時の調音運動の比較2017

    • 著者名/発表者名
      浅井拓也, 末光厚夫, 赤木正人
    • 学会等名
      日本音響学会平成29年度秋季研究発表会
    • 招待講演

URL: 

公開日: 2018-12-17   更新日: 2022-02-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi