発話過程の神経生理学的制御モデルの構築に関する研究

2015 年度 実績報告書

• 研究課題/領域番号: 25330190
• 研究機関: 北陸先端科学技術大学院大学
• 研究代表者: 党 建武 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (80334796)
• 研究分担者: 田中 宏和 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00332320) ; 末光 厚夫 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (20422199) ; 川本 真一 群馬工業高等専門学校, 電子情報工学科, 講師 (70418507)
• 研究期間 (年度): 2013-04-01 – 2016-03-31
• キーワード: 音声認知の過程 / フィードバックメカニズム / 発話運動計画 / 音声生成 / 神経学計算モデル

研究実績の概要

本研究は、計算機上で発話の過程を模擬する生理学的発話機構モデルを基に、脳イメージングや筋電図および磁気センサーシステムなどによる神経生理学的知見を加えて、音声生成過程における発話計画、運動指令、筋肉の収縮、発話器官の動作、音波伝播、音波の生成とその聴覚フィードバックなどのモジュールを含む発話運動制御モデルを構築し、発話運動制御メカニズムを明らかにすることを目的とする。
平成27年度では、我々は脳電図（EEG）信号に基にしたソース再構築方法を用いて音声を知覚する時脳内における音声信号処理の流れを調査することにより、ミラーニューロンによる音声生成と音声知覚との相互作用を考察した。さらに動詞と名詞を知覚する際、同様なソース再構築手法により、知覚処理と語意認知過程を調べた。その結果、知覚処理と語意認知過程は大体初期処理、中期処理と高等処理の三つのフェイズを分けることができる。フェイズ毎に脳の活動がよく似ていることが分かった。それは、音声の語意の認知は初期処理における50msの時点から始まっていることを示唆した。
音声発声時に音響フィードバック以外の通路が存在するかについて、皮膚や神経の伝達通路を調べたところ、発声の基本周波数の制御に対して、声帯振動の触覚求心性情報によるフィードバックは音響のそれより遅延が短いことが分かった。
また発話計画に用いる単位について研究を行った。中国語とフランス語の母音ー子音ー母音（V１CV２）を用いて発話運動の調音結合の影響範囲を調べた。その結果、CV2の境界内部では、二つの言語とも強い調音結合は見られた。それに対して、CV2の境界を超えた場合、先読みの調音結合はフランス語の発話運動にはよくみられるが、中国語の発話運動にはあまり見られていない。これらの現象は、中国語の発話制御には、音節が発話計画の基本単位として使われることを示唆した。

研究成果

• [国際共同研究] Haskins Laboratories/University of California San Diego(米国)
  • 国名: 米国
  • 外国機関名: Haskins Laboratories/University of California San Diego
• [国際共同研究] CNRS, GIPSA-Lab,/Univ.Grenoble Alpes(フランス)
  • 国名: フランス
  • 外国機関名: CNRS, GIPSA-Lab,/Univ.Grenoble Alpes
• [国際共同研究] Aachen University(ドイツ)
  • 国名: ドイツ
  • 外国機関名: Aachen University
• [国際共同研究] Tianjin University/FudanUniversity(中国)
  • 国名: 中国
  • 外国機関名: Tianjin University/FudanUniversity
• [雑誌論文] A study on transvelar coupling for non-nasalized sounds (2016)
  • 著者名/発表者名: Jianwu Dang, Jianguo Wei, and Kiyoshi Honda, and Takayoshi Nakai
  • 雑誌名: J. Acoust. Soc. Am. 巻: 139 ページ: 441- 454
  • DOI: http://dx.doi.org/10.1121/1.4939964
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] Coordinate Systems in the Motor System: Computational Modeling and EEG Experiment (2016)
  • 著者名/発表者名: Tanaka, H., Miyakoshi, M., & Makeig, S.
  • 雑誌名: Advances in Cognitive Neurodynamics (V) 巻: V ページ: 85-92
  • DOI: 10.1007/978-981-10-0207-6_14
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Modeling the motor cortex: Optimality, recurrent neural networks, and spatial dynamics (2016)
  • 著者名/発表者名: Tanaka, H.
  • 雑誌名: Neuroscience Research 巻: 104 ページ: 64-71
  • DOI: 10.1016/j.neures.2015.10.012
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Strength of syllabic influences on articulation in Mandarin Chinese and French: Insights from a motor control approach (2015)
  • 著者名/発表者名: Liang Ma, Pascal Perrier, and Jianwu Dang
  • 雑誌名: Journal of Phonetics 巻: 53 ページ: 101-124
  • DOI: 10.1016/j.wocn.2015.09.005
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] A control strategy of a physiological articulatory model for speech production (2015)
  • 著者名/発表者名: X. Wu, J. Dang
  • 雑誌名: Journal of Chinese Linguistics 巻: 43 ページ: 337-363
  • DOI: 10.1353/jcl.2015.0038
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Generalized Finite Difference Time Domain Method and Its Application to Acoustics (2015)
  • 著者名/発表者名: Jianguo Wei, Song Wang, Qingzhi Hou, and Jianwu Dang
  • 雑誌名: Mathematical Problems in Engineering 巻: 2015 ページ: 1-13
  • DOI: http://dx.doi.org/10.1155/2015/640305
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] A real-time articulatory visual feedback approach with target presentation for second language pronunciation learning (2015)
  • 著者名/発表者名: Suemitsu, A., Dang, J., Ito, T., Tiede, M.,
  • 雑誌名: J. Acoust. Soc. Am. 巻: 138, EL382 ページ: 1-6
  • DOI: http://dx.doi.org/10.1121/1.4931827
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] Edge prominence and declination in Japanese jaw displacement patterns: a view from the C/D model (2015)
  • 著者名/発表者名: Kawahara, S., Erickson, D., Suemitsu, A.
  • 雑誌名: Journal of Phonetic Society of Japan 巻: 19 ページ: 33-43
  • 査読あり / オープンアクセス / 国際共著
• [学会発表] INVESTIGATIONS INTO VOWEL AND CONSONANT STRUCTURES IN ARTICULATORY AND AUDITORY SPACES USING LAPLACIAN EIGENMAPS (2016)
  • 著者名/発表者名: Jianwu Dang, Shengbei Wang, Masashi Unoki
  • 学会等名: The 41st IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2016)
  • 発表場所: Shanghai, China
  • 年月日: 2016-03-20 – 2016-03-25
  • 国際学会
• [学会発表] Influences of Auditory and Vibrotactile Information on Vocal F0 Responses (2015)
  • 著者名/発表者名: Xiaozhen Wang, Kiyoshi Honda, Jianwu Dang, Hongcui Wang and Jianguo Wei
  • 学会等名: APSIPA Annual Summit and Conference 2015
  • 発表場所: Hong Kong, China
  • 年月日: 2015-12-16 – 2015-12-19
  • 国際学会
• [学会発表] Investigation of Learning Trajectory of Mandarin for Tibetan Speakers (2015)
  • 著者名/発表者名: Huixia Wang, Jianwu Dang, Hui Feng, Hongcui Wang, Yang Yu, Kiyoshi Honda
  • 学会等名: APSIPA Annual Summit and Conference 2015
  • 発表場所: Hong Kong, China
  • 年月日: 2015-12-16 – 2015-12-19
  • 国際学会
• [学会発表] Automatic Tongue Contour Tracking in Ultrasound Sequences without Manual Initialization (2015)
  • 著者名/発表者名: Hongcui Wang, Siyu Wang, Bruce Denby, Jianwu Dang
  • 学会等名: APSIPA Annual Summit and Conference 2015
  • 発表場所: Hong Kong, China
  • 年月日: 2015-12-16 – 2015-12-19
  • 国際学会
• [学会発表] Vowel Normalization by Articulatory Information (2015)
  • 著者名/発表者名: Jingshu Zhang, Jianguo Wei, Wenhuan Lu, Qiang Fang, Kiyoshi Honda and Jianwu Dang
  • 学会等名: APSIPA Annual Summit and Conference 2015
  • 発表場所: Hong Kong, China
  • 年月日: 2015-12-16 – 2015-12-19
  • 国際学会
• [学会発表] Investigation of relation between speech perception and production based on EEG source reconstruction (2015)
  • 著者名/発表者名: Guancheng Li, Jianwu Dang, Gaoyan Zhang, Zhilei Liu, Hongcui Wang,
  • 学会等名: APSIPA Annual Summit and Conference 2015
  • 発表場所: Hong Kong, China
  • 年月日: 2015-12-16 – 2015-12-19
  • 国際学会
• [学会発表] Is movement duration predetermined in visually guided reaching? A comparison of finite- and infinite-horizon optimal feedback control (2015)
  • 著者名/発表者名: Li L., Imamizu H. and Tanaka H.
  • 学会等名: International Conference on Advanced Mechatronics (ICAM2015)
  • 発表場所: Waseda Univ., Tokyo, Japan
  • 年月日: 2015-12-06 – 2015-12-06
  • 国際学会
• [学会発表] Formation of internal forward model with sensory and reward prediction errors: A behavioral confirmation (2015)
  • 著者名/発表者名: Satou H., Sasaki A., Nozaki D. and Tanaka H.
  • 学会等名: International Conference on Advanced Mechatronics (ICAM2015)
  • 発表場所: Waseda Univ., Tokyo, Japan
  • 年月日: 2015-12-06 – 2015-12-06
  • 国際学会
• [学会発表] Articulation of phrasal stress in Mandarin Chinese (2015)
  • 著者名/発表者名: 岩田 礼，エリクソン ドナ，澁谷 良穂，末光 厚夫
  • 学会等名: 日本音響学会2015年秋季研究発表会
  • 発表場所: 日本会津大学 （福島県会津若松市）
  • 年月日: 2015-09-16 – 2015-09-19
• [学会発表] Combined Cine- and Tagged-MRI for Tracking Landmarks on the Tongue Surface (2015)
  • 著者名/発表者名: H. Bao, W. Lu, K. Honda, J. Wei, Q. Fang, J. Dang,
  • 学会等名: INTERSPEECH2015
  • 発表場所: Dresden, Germany
  • 年月日: 2015-09-06 – 2015-09-10
  • 国際学会
• [学会発表] Measuring Oral and Nasal Airflow in Production of Chinese Plosive (2015)
  • 著者名/発表者名: Y. Chi, K. Honda, J. Wei, H. Feng, J. Dang
  • 学会等名: INTERSPEECH2015
  • 発表場所: Dresden, Germany
  • 年月日: 2015-09-06 – 2015-09-10
  • 国際学会
• [学会発表] How motor cortex represents body movements: Optimality, recurrent neural networks and spatial dynamics (2015)
  • 著者名/発表者名: Tanaka, H., Miyakoshi, M. and Makeig, S.
  • 学会等名: IEEE The 24th International Symposium on Robot and Human Interactive Communication (RO-MAN)
  • 発表場所: Kobe International Conferece Center, Kobe, Japan
  • 年月日: 2015-08-31 – 2015-08-31
  • 国際学会
• [学会発表] The perception of English vowel contrasts by Chinese EFL learners and native English speakers (2015)
  • 著者名/発表者名: A. Zhang, H. Feng, X. Zheng, Z. Xu, J. Dang
  • 学会等名: The 18th International Congress of Phonetic Science (ICPhS 2015)
  • 発表場所: Glasgow, UK
  • 年月日: 2015-08-10 – 2015-08-14
  • 国際学会
• [学会発表] A lip protrusion mechanism examined by magnetic resonance imaging and finite element modeling (2015)
  • 著者名/発表者名: T. Li, K. Honda, J. Wei, J. Dang
  • 学会等名: The 18th International Congress of Phonetic Science (ICPhS 2015)
  • 発表場所: Glasgow, UK
  • 年月日: 2015-08-10 – 2015-08-14
  • 国際学会
• [学会発表] Bridging articulation and perception: The C/D model and contrastive emphasis (2015)
  • 著者名/発表者名: Erickson, D., Kim, J., Kawahara, S., Wilson, I., Menezes, C., Suemitsu, A., Moore, J.
  • 学会等名: The 18th International Congress of Phonetic Sciences (ICPhS 2015)
  • 発表場所: Glasgow, UK
  • 年月日: 2015-08-08 – 2015-08-12
  • 国際学会
• [学会発表] Relation between laryngeal movements and fundamental frequency (2015)
  • 著者名/発表者名: J. Dang
  • 学会等名: International Conference on Prosodic Studies: Challenges and Prospects
  • 発表場所: Tianjin, China
  • 年月日: 2015-06-12 – 2015-06-14
  • 国際学会 / 招待講演
• [学会発表] Movement Representation in the Motor System: Computational Modeling and EEG experiment (2015)
  • 著者名/発表者名: Tanaka, H., Miyakoshi, M. and Makeig, S.
  • 学会等名: Brain Connectivity Workshop
  • 発表場所: San Diego, U.S.A.
  • 年月日: 2015-06-12 – 2015-06-12
  • 国際学会
• [学会発表] Coordinate Systems in the Motor System: Computational Modeling and EEG experiment (2015)
  • 著者名/発表者名: Tanaka, H., Miyakoshi, M. and Makeig, S.
  • 学会等名: The 5th International Conference on Cognitive Neurodynamics
  • 発表場所: Sanya, China
  • 年月日: 2015-06-04 – 2015-06-04
  • 国際学会
• [学会発表] Estimation of Vocal Tract Shape from Speech Sounds via a Physiological Articulatory Model (2015)
  • 著者名/発表者名: J. Dang
  • 学会等名: China-Germany Joint Symposium on Speech Technology
  • 発表場所: Shanghai, China
  • 年月日: 2015-05-18 – 2015-05-19
  • 国際学会 / 招待講演
• [学会発表] VOCAL RESPONSES TO FREQUENCY MODULATED COMPOSITE SINEWAVES VIA AUDITORY AND VIBROTACTILE PATHWAYS (2015)
  • 著者名/発表者名: X. Wang, K. Honda, J. Dang, J. Wei.
  • 学会等名: The 41st IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
  • 国際学会
• [図書] 音声合成技術の現状と展望（総説）, 進化するヒトと機械の音声コミュニケーション (2015)
  • 著者名/発表者名: 党 建武
  • 総ページ数: 125-140
  • 出版者: 株式会社ニッケイ印刷
• [備考] publication list - JAIST 北陸先端科学技術大学院大学
  • URL: http://www.jaist.ac.jp/is/labs/dang-lab/paper/?lang=ja&type=category