• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Research-status Report

発話過程の神経生理学的制御モデルの構築に関する研究

Research Project

Project/Area Number 25330190
Research Category

Grant-in-Aid for Scientific Research (C)

Research InstitutionJapan Advanced Institute of Science and Technology

Principal Investigator

党 建武  北陸先端科学技術大学院大学, 情報科学研究科, 教授 (80334796)

Co-Investigator(Kenkyū-buntansha) 田中 宏和  北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00332320)
末光 厚夫  北陸先端科学技術大学院大学, 情報科学研究科, 助教 (20422199)
川本 真一  北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
Project Period (FY) 2013-04-01 – 2016-03-31
Keywords音声生成 / 発話運動制御 / ニューロン計算モデル / 個人化モデルの構築
Research Abstract

発話運動の制御機構、特に発話運動制御の高次機能は、人間の発話機能の獲得や発話障害の起因などに深く関わっている。音声生成過程に関連する脳の発話運動制御メカニズムには未解明の問題が山積しているが、技術的・倫理的な制限があるため、実験的な手法により完全に解明することが困難である。そこで、本研究は、計算機上で発話の過程を模擬する生理学的発話機構モデルを基に、脳イメージングや筋電図および磁気センサーシステムなどによる神経生理学的知見を加えて、音声生成過程における発話計画、運動指令、筋肉の収縮、発話器官の動作、音波伝播、音波の生成とその聴覚フィードバックなどのモジュールを含む発話運動制御モデルを構築し、発話運動制御メカニズムを明らかにすることを目的とする。
平成25年度は、我々はフィードバック付き学習方法を提案して生理学的発話機構モデルにより、調音目標に基づいた調音筋の収縮の自動推定方法を開発した。任意話者のMRIデータを用い個性のある生理学的計算モデルの簡易な構築方法を研究した。また、時間領域有限差分法などの手法を比較しなら、三位一体の音声生成モデルに向かって流体力学てきな計算法を検討している。
本研究では、音声生成においてミラーニューロンの機能を、事象関連電位(ERP)により計測し、コントロール条件での脳活動を比較し、統計的な分析を行うことにより、視覚と生成との相互作用の定式化を検討する。また、磁気センサー装置により調音運動を可視化してフィードバックにより、音声生成の制御を促進することを明らかにした。
生理学的発話機構を基に音声生成ニューロンの初期計算モデルを作成し、子音―母音の模擬データを用いて自己組織化により発話制御の高次機能のモジュール化の研究を行っている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の計画は基本的に合理的で、実験はおおむね順調である。ERPにより視聴覚の関連の分析や、生理学的音声生成モデルの個人化と制御方法、及びニューロン計算モデルについていくつかの成果を挙げた。それら成果を7通の学術雑誌論文と10通学会研究発表に纏めた。平成26年度は、音声生成においてEEGにより音声生成におけるミラーニューロンの機能、生理学的ニューロン計算モデルの構築とモデルによるシミュレーションを中心として研究を展開する予定である。

Strategy for Future Research Activity

これまでの研究成果を基に、神経生理学的発話過程制御計算モデルを構築する。更にeCOG方法による最新の脳計測成果に基づいて、発話制御の神経生理学的計算モデルを最適化する。発話制御モデルについて幾つかのシミュレーションと検証実験を行う。その中、音声生成過程の模擬について、筋電図、磁気センサーによる発話運動および音声波形など計測データ用いて評価;言語音声獲得過程の模擬について、モデルにより喃語の模擬を幼児の言語獲得と比較;発話障害の模擬について、モデルによるシミュレーションを臨床症例と比較しながら、発話制御モデルの精密さを向上させる予定である。

Expenditure Plans for the Next FY Research Funding

平成25年度では、当初計画したfMRI実験を、年度末でMRIの設備の予約が満杯になっているため、実施できなかった。
平成26年度では、早い時期で前年度の実施できなかったfMRIの実験を追加して、研究を進めたいと計画している。

  • Research Products

    (22 results)

All 2015 2014 2013 Other

All Journal Article (7 results) (of which Peer Reviewed: 7 results,  Open Access: 1 results,  Acknowledgement Compliant: 1 results) Presentation (15 results) (of which Invited: 2 results)

  • [Journal Article] A CONTROL STRATEGY OF A PHYSIOLOGICAL ARTICULATORY MODEL FOR SPEECH PRODUCTION2015

    • Author(s)
      X. Wu, J. Dang
    • Journal Title

      Journal of Chinese Linguistics

      Volume: - Pages: In press

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Journal Article] Detection of speaker individual information using a phoneme effect suppression method2014

    • Author(s)
      Songgun Hyon, Jianwu Dang, Hui Feng, Hongcui Wang, Kiyoshi Honda
    • Journal Title

      Speech Communication

      Volume: 57 Pages: 87-100

    • Peer Reviewed
  • [Journal Article] An iterative method to estimate muscle activation based on a physiological articulatory model2014

    • Author(s)
      X. Wu, J. Dang, and I. Stavness
    • Journal Title

      Acoust. Sci. Tech

      Volume: - Pages: 印刷中

    • Peer Reviewed
  • [Journal Article] Correlation between three-dimensional visual depth and N2 component: Evidence from event-related potential study2013

    • Author(s)
      Baolin Liu, Xianyao Meng, Guangning Wu, Jianwu Dang
    • Journal Title

      Neuroscience

      Volume: 237 Pages: 161-169

    • Peer Reviewed
  • [Journal Article] Correlation between prime duration and semantic priming effect: Evidence from N400 effect2013

    • Author(s)
      Baolin Liu, Guangning Wu, Xianyao Meng, Jianwu Dang
    • Journal Title

      Neuroscience

      Volume: 238 Pages: 319-326

    • Peer Reviewed
  • [Journal Article] Correlation between audio-visual enhancement of speech in different noise environments and SNR: A combined behavioral and electrophysiological study2013

    • Author(s)
      Baolin Liu, Yanfei Lin, Xiaorong Gao, Jianwu Dang
    • Journal Title

      Neuroscience

      Volume: 247 Pages: 145-151

    • Peer Reviewed
  • [Journal Article] Comparison of Mel Frequency Cepstrum Coefficient and Perceptual Linear Predictive in Perceptual Measurement of Chinese Initials2013

    • Author(s)
      Sai Chen, Hongcui Wang, Jia Jia, Yeteng An, and Jianwu Dang
    • Journal Title

      Applied Mechanics and Materials

      Volume: 411-414 Pages: 291-297

    • Peer Reviewed
  • [Presentation] An MRI-based Acoustic Study of Mandarin Vowels2013

    • Author(s)
      Yuguang Wang, Jianwu Dang, Xi Chen, Jianguo Wei, Hongcui Wang, Kiyoshi Honda
    • Organizer
      INTERSPEECH 2013
    • Place of Presentation
      Lyon, France
    • Year and Date
      20130826-20130829
  • [Presentation] An Anisotropic Diffusion Filter Based on Multidirectional Separability2013

    • Author(s)
      Shen Liu, Jianguo Wei, Xin Wang, Wenhuan Lu, Qiang Fang and Jianwu Dang
    • Organizer
      INTERSPEECH 2013
    • Place of Presentation
      Lyon, France
    • Year and Date
      20130826-20130829
  • [Presentation] Opportunities and Challenges of speech information processing in the Internet age2013

    • Author(s)
      Jianwu Dang
    • Organizer
      National Conference on Man-Machine Speech Communication (NCMMSC2013)
    • Place of Presentation
      Guiyang, China
    • Year and Date
      20130805-20130807
    • Invited
  • [Presentation] Speech-driven Realtime Lip-Synch Animation with Viseme-dependent Filters2013

    • Author(s)
      Shin-ichi Kawamoto
    • Organizer
      SIGGRAPH 2013
    • Place of Presentation
      米国アナハイム
    • Year and Date
      20130721-20130725
  • [Presentation] Selection of reliable control points for constructing personalized physiological articulatory models

    • Author(s)
      Nana Nishimura, Shin-ichi Kawamoto, Jianwu Dang, Kiyoshi Honda
    • Organizer
      2014 RISP International workshop on Nonlinear Circuits, Communications and Signal Processing
    • Place of Presentation
      Hawaii, USA
  • [Presentation] 話機構モデル個人化における信頼性の高い特徴点配置の検討

    • Author(s)
      西村奈々, 川本真一, 党建武, 本多清志
    • Organizer
      日本音響学会
    • Place of Presentation
      東京
  • [Presentation] Visualization of Mandarin Articulation by using a Physiological Articulatory Model

    • Author(s)
      D. Huang, X. Wu, J. Wei, H. Wang, C. Song, Q. Hou, J. Dang
    • Organizer
      APSIPA
    • Place of Presentation
      Kaohsiung, Taiwan
  • [Presentation] A New Method for the Objective Perceptual Measurement of Chinese Initials

    • Author(s)
      Sai Chen, Hongcui Wang, Jia Jia, and Jianwu Dang
    • Organizer
      APSIPA
    • Place of Presentation
      Kaohsiung, Taiwan
  • [Presentation] A Neural Understanding of Speech Motor Learning

    • Author(s)
      X. Chen, J. Dang, H. Yan, Q. Fang, B. Kroger
    • Organizer
      APSIPA
    • Place of Presentation
      Kaohsiung, Taiwan
  • [Presentation] Morphological personalization of a physiological articulatory model

    • Author(s)
      Nana Nishimura, Shin’ichi Kawamoto, Jianwu Dang, and Kiyoshi Honda
    • Organizer
      APSIPA
    • Place of Presentation
      Kaohsiung, Taiwan
  • [Presentation] Morphological Normalization: A Study of Vowels for Mandarin and Japanese

    • Author(s)
      Hong Liu, Jianguo Wei, Wenhuan Lu, Qiang Fang, Liang Ma and Jianwu Dang
    • Organizer
      APSIPA
    • Place of Presentation
      Kaohsiung, Taiwan
  • [Presentation] Multiple Language Processing based on the Mechanism of Speech Production

    • Author(s)
      Jianwu Dang
    • Organizer
      The 14th symposium on Chinese Minority Language Information Processing
    • Place of Presentation
      Lanzhou, China
    • Invited
  • [Presentation] アメリカ英語発音学習における調音フィードバック提示による学習効果の検討

    • Author(s)
      末光厚夫,党建武, 伊藤貴之, Tiede Mark
    • Organizer
      日本音響学会平成25年秋季研究発表会
    • Place of Presentation
      豊橋技術科学大学,豊橋市
  • [Presentation] An electromagnetic articulography-based articulatory feedback approach to facilitate second language speech production learning

    • Author(s)
      Suemitsu, A., Ito, T., Tiede M.
    • Organizer
      ICA2013
    • Place of Presentation
      Palais des congres, Montreal
  • [Presentation] INDIVIDUAL VARIATION OF MOPHOLOGICAL AND ACOUSTIC EFFECTS OF THE NASAL TRACT

    • Author(s)
      Chen Zhao, Jianwu Dang, Jianguo Wei, Kiyoshi Honda
    • Organizer
      IEEE China Summit & International Conference on Signal and Information Processing (ChinaSIP 2013)
    • Place of Presentation
      Guiyang, China

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi