• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実施状況報告書

情動による感情音声発話のメカニズムとモデル化に関する研究

研究課題

研究課題/領域番号 16K00297
研究機関北陸先端科学技術大学院大学

研究代表者

党 建武  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)

研究分担者 田中 宏和  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫  札幌保健医療大学, 看護学部, 准教授 (20422199)
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード感情音声 / 音声生成 / 神経生理学モデル / 脳電図 / fMRI
研究実績の概要

情動により駆動される感情は、人間の本能で、音声コミュニケーションには欠かせない機能を果たしている。しかし、これまで脳機能に関する計算モデルの研究は主に知的機能のみにとどまり、情動に関する機能にほとんど触れなかった。そのため、本研究では、脳神経学の最新知見に基づいて、情動による感情音声発話のメカニズムを解明し、感情生成と知覚の機能を取り入れ感情音声発話の神経生理学的計算モデルを構築し、さらにモデルにより自閉症などの情動障害の早期発見とリハビリテーションへの応用を図ることを目的とする。
平成28年度は、本研究の初年度で、おおむねに当初の計画通り進んでいる。本研究の基礎部分として、我々は感情音声の知覚時の脳活動データを収録した。そこで、fMRIを用いて、データの収録では、怒り、悲しみと喜びの三感情を知覚する時の脳活動に対して、20名の被験者からデータを収録した。これらのデータを分析しつつある。
人間感情の動的変化を捉えるため、本研究では時間分解能の高い脳電図(EEG)を用いて感情変化時の脳活動を観測することにした。その準備研究として、EEGに基づいたソース再構成の方法を用いて、音声知覚における脳活動の動的変化を分析し、ERPやfMRIによる先行研究の結果と比較することにより、提案方法の有効性を確認した。その結果を国際学会で発表し、国際学術雑誌に投稿中である。
感情音声発話神経生理学的計算モデルの構築では、米国ボストン大学の提案した音声生成ニューロン計算モデル(DIVAモデル)を基に、情動部位に関わる感情モジュールを取り入れて、感情音声を生成した。その成果を国際大会で発表し、また脳の運動制御計算モデルについて、多数の研究成果を発表した。
非母語の発話学習について、発話運動を可視化して学習者へフィードバックにより学習の効果を促進することを明らかにした。この成果を国際学会で発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

平成28年度当初の計画通り、感情音声を知覚する時脳活動のfMRIデータを収録し、データの分析を行っている最中である。
感情の動的変化の研究について、感情が平静の状態からほかの感情を変移する時の脳電図データの収録も行っている。
感情音声の発話時において計測した発話運動データを分析して、真の感情と演じた感情の発話時の調音運動における差異を明らかにした。
また、発表成果に入れていないが、インターネット上の情報を利用して、うつ病の早期予測に関する研究論文をつい最近国際学術雑誌に採択された。

今後の研究の推進方策

被験者のデータ収集を強化して、ほかの部分には計画通り研究を進める予定です。

次年度使用額が生じた理由

計画された実験の一部は実験者の都合により実施できなかった。

次年度使用額の使用計画

上記の実験を平成29年度で実施する予定である。

  • 研究成果

    (28件)

すべて 2017 2016 その他

すべて 国際共同研究 (2件) 雑誌論文 (5件) (うち国際共著 3件、 査読あり 4件、 オープンアクセス 2件) 学会発表 (21件) (うち国際学会 18件、 招待講演 5件)

  • [国際共同研究] 天津大学(中国)

    • 国名
      中国
    • 外国機関名
      天津大学
  • [国際共同研究] UCSD(米国)

    • 国名
      米国
    • 外国機関名
      UCSD
  • [雑誌論文] The phonetics of jaw displacement in Japanese vowels2017

    • 著者名/発表者名
      Kawahara, S., Erickson, D., Suemitsu, A.
    • 雑誌名

      Acoustical Science and Technology

      巻: 38 ページ: 99-107

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Audio-visual speech recognition integrating 3D lip information obtained from the Kinect2016

    • 著者名/発表者名
      Jianrong Wang, Ju Zhang, Kiyoshi Honda, Jianguo Wei, Jianwu Dang
    • 雑誌名

      Multimedia Systems

      巻: 22 ページ: 315 - 323

    • DOI

      10.1007/s00530-015-0499-9

    • 査読あり / 国際共著
  • [雑誌論文] 脳を理解するとはどういうことかーある計算論的神経科学者の頭の中2016

    • 著者名/発表者名
      田中宏和
    • 雑誌名

      BRAIN and NERVE-神経研究の進歩

      巻: 68 ページ: 1379 - 1384

  • [雑誌論文] Articulation, acoustics and perception of Mandarin Chinese emotional speech2016

    • 著者名/発表者名
      Erickson, D., Zhu, C., Kawahara, S., Suemitsu, A.
    • 雑誌名

      Open Linguistics

      巻: 2 ページ: 620 - 635

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Study on quality improvement of HMM-based synthesized voices using asymmetric bilinear model2016

    • 著者名/発表者名
      Dinh, T. A, Morikawa, D., and Akagi, M.
    • 雑誌名

      Journal of Signal Processing

      巻: 20 ページ: 205 - 208

    • 査読あり
  • [学会発表] EMAデータに基づいた演技感情音声発話時の調音運動制御の分析2017

    • 著者名/発表者名
      浅井拓也,末光厚夫,赤木正人
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学(東京都千代田区)
    • 年月日
      2017-03-09 – 2017-03-11
  • [学会発表] 磁気センサシステムによる日-中二カ国語話者の音声-調音パラレルデータの測定2017

    • 著者名/発表者名
      内田秀継,橋本哲弥,齋藤大輔,峯松信明,末光 厚夫
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学(東京都千代田区)
    • 年月日
      2017-03-09 – 2017-03-11
  • [学会発表] Voice Conversion to Emotional Speech based on Three-layered Model in Dimensional Approach and Parameterization of Dynamic Features in Prosody2016

    • 著者名/発表者名
      Xue, Y., Hamada, Y., and Akagi, M.
    • 学会等名
      Proc. APSIPA2016
    • 発表場所
      Cheju, Korea
    • 年月日
      2016-12-15 – 2016-12-15
    • 国際学会
  • [学会発表] Investigation of Noun-Verb Dissociation Based on EEG Source Reconstruction2016

    • 著者名/発表者名
      Bin Zhao, Jianwu Dang, Gaoyan Zhang
    • 学会等名
      APSIPA
    • 発表場所
      Jeju, Korea
    • 年月日
      2016-12-13 – 2016-12-16
    • 国際学会
  • [学会発表] A New Method of Acceleration Measurement for Observing Tongue Movement in Ultrasound Image during Speech Production2016

    • 著者名/発表者名
      Yu Chen, Ju Zhang, Fei Chen, Yanting Chen, Hua Lin, Jianguo Wei and Jianwu Dang
    • 学会等名
      APSIPA
    • 発表場所
      Jeju, korea
    • 年月日
      2016-12-13 – 2016-12-16
    • 国際学会
  • [学会発表] Mandarin Citation Tone Patterns of Prelingual Chinese Deaf Adults2016

    • 著者名/発表者名
      Yanting Chen, Yu Chen, Jin Zhang, Ju Zhang,eHua Lin, Jianguo Wei and Jianwu Dang 3.Yanting Chen, Yu Chen, Jin Zhang, Ju Zhang,eHua Lin, Jianguo Wei and Jianwu Dang
    • 学会等名
      APSIPA
    • 発表場所
      Jeju, KKorea
    • 年月日
      2016-12-13 – 2016-12-16
    • 国際学会
  • [学会発表] Toward Affective Speech-to-Speech Translation2016

    • 著者名/発表者名
      Akagi, M.
    • 学会等名
      International Conference on Advances in Information and Communication Technology 2016
    • 発表場所
      Thai Nguyen, Vietnam
    • 年月日
      2016-12-13 – 2016-12-13
    • 国際学会 / 招待講演
  • [学会発表] Voice conversion system to emotional speech in multiple languages based on three-layered model for dimensional space2016

    • 著者名/発表者名
      Xue, Y., Hamada, Y., Elbarougy, R., and Akagi, M.
    • 学会等名
      O-COCOSDA2016
    • 発表場所
      Bali, Indonesia
    • 年月日
      2016-12-12 – 2016-12-12
    • 国際学会
  • [学会発表] Mobile Brain/Body Imaging for Natural Movements2016

    • 著者名/発表者名
      Tanaka H., Miyakoshi M., and Makeig S.
    • 学会等名
      MoBI (Mobile Brain/Body Imaging) Workshop
    • 発表場所
      Ssan Diago, USA
    • 年月日
      2016-11-22 – 2016-11-22
    • 国際学会 / 招待講演
  • [学会発表] Optimizing Fuzzy Inference Systems for Improving Speech Emotion Recognition,2016

    • 著者名/発表者名
      Elbarougy, R. and Akagi, M.
    • 学会等名
      The 2nd International Conference on Advanced Intelligent Systems and Informatics
    • 発表場所
      Cairo, Egypt
    • 年月日
      2016-10-24 – 2016-10-24
    • 国際学会
  • [学会発表] EEG Evidence for a Three-Phase Recurrent Process during Spoken Word Processing2016

    • 著者名/発表者名
      Bin Zhao, Jianwu Dang, Gaoyan Zhang
    • 学会等名
      ISCSSLP
    • 発表場所
      Tianjin,, China
    • 年月日
      2016-10-17 – 2016-10-20
    • 国際学会
  • [学会発表] Investigation of the Spatiotemporal Dynamics of the Brain during Perceiving Words2016

    • 著者名/発表者名
      Yuke Si, Jianwu Dang, Gaoyan Zhang
    • 学会等名
      ISCSLP
    • 発表場所
      Tianjin, China
    • 年月日
      2016-10-17 – 2016-10-20
    • 国際学会
  • [学会発表] “Multilingual Speech Emotion Recognition System Based on a Three-Layer Model2016

    • 著者名/発表者名
      Li, X. and Akagi, M.
    • 学会等名
      nterSpeech2016
    • 発表場所
      San Francisco,USA
    • 年月日
      2016-09-12 – 2016-09-12
    • 国際学会
  • [学会発表] Effects of Subglottal-Coupling and Interdental-Space on Formant Trajectories during Front-to-Back Vowel Transitions in Chinese2016

    • 著者名/発表者名
      Shuanglin Fan, Kiyoshi Honda, Jianwu Dang, Hui Feng
    • 学会等名
      Interspeech
    • 発表場所
      San Francisco, USA
    • 年月日
      2016-09-08 – 2016-09-12
    • 国際学会
  • [学会発表] A new model for acoustic wave propagation and scattering in the vocal tract2016

    • 著者名/発表者名
      Jianguo Wei, Wendan Guan, Darcy Q. Hou, Dingyi Pan, Wenhuan Lu, Jianwu Dang
    • 学会等名
      Interspeech
    • 発表場所
      San Francisco, USA
    • 年月日
      2016-09-08 – 2016-09-12
    • 国際学会
  • [学会発表] Investigation of the effect of articulatory-based second language production learning on speech perception2016

    • 著者名/発表者名
      Suemitsu, A., Ito, T. Dang, J., Tiede, M.
    • 学会等名
      22nd International Congress on Acoustics (ICA2016)
    • 発表場所
      Buenos Aires, Argentina
    • 年月日
      2016-09-05 – 2016-09-08
    • 国際学会
  • [学会発表] Effects of speaker’s and listener’s acoustic environments on speech intelligibility and annoyance2016

    • 著者名/発表者名
      Kubo, R, Morikawa, D., and Akagi, M.
    • 学会等名
      Inter-Noise2016
    • 発表場所
      Hamburg, Germany
    • 年月日
      2016-08-22 – 2016-08-22
    • 国際学会
  • [学会発表] Directional tuning and reference frames revealed by noninvasive EEG in humans: a computational MoBI study2016

    • 著者名/発表者名
      Tanaka H., Miyakoshi M., and Makeig S.
    • 学会等名
      The 31st International Congress of Psychology
    • 発表場所
      PACIFICO, (Yokohama, Kanagawa)
    • 年月日
      2016-07-24 – 2016-07-26
    • 国際学会 / 招待講演
  • [学会発表] Dynamics of directional tuning and reference frames in humans: A mobile brain/body imaging study2016

    • 著者名/発表者名
      Tanaka H., Miyakoshi M., and Makeig S.
    • 学会等名
      The Japan-Europe International Meeting about Embodied Brain
    • 発表場所
      Taormina, Italy
    • 年月日
      2016-05-30 – 2016-06-01
    • 招待講演
  • [学会発表] Jaw displacement and phrasal stress in Mandarin Chinese2016

    • 著者名/発表者名
      Erickson, D., Iwata, R., Suemitsu, A.
    • 学会等名
      5th International Symposium on Tonal Aspects of Languages
    • 発表場所
      Buffalo, USA
    • 年月日
      2016-05-24 – 2016-05-27
    • 国際学会
  • [学会発表] Directional tuning and reference frames revealed by noninvasive EEG in humans: a computational MoBI study2016

    • 著者名/発表者名
      Tanaka H., Miyakoshi M., and Makeig S.
    • 学会等名
      第55回日本生体医工学会大会
    • 発表場所
      富山市民プラザ (富山県富山市)
    • 年月日
      2016-04-26 – 2016-04-28
    • 国際学会 / 招待講演

URL: 

公開日: 2018-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi