2014 Fiscal Year Research-status Report
発話過程の神経生理学的制御モデルの構築に関する研究
| Project/Area Number |
25330190
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 宏和 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00332320)
末光 厚夫 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (20422199)
川本 真一 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 音声生成 / 発話運動制御 / 発話機構モデル / 発話過程神経制御モデル / MRI計測 / 個人化モデル |
|---|
| Outline of Annual Research Achievements |
本研究は、計算機上で発話の過程を模擬する生理学的発話機構モデルを基に、脳イメージングや筋電図および磁気センサーシステムなどによる神経生理学的知見を加えて、音声生成過程における発話計画、運動指令、筋肉の収縮、発話器官の動作、音波伝播、音波の生成とその聴覚フィードバックなどのモジュールを含む発話運動制御モデルを構築し、発話運動制御メカニズムを明らかにすることを目的とする。
平成２６年度では、我々はフィードバック付き学習方法について、生理学的モデルを用い調音目標に基づいて調音筋の活動パターンの自動推定方法を更に改善した。その研究成果を学術雑誌論文として発表した。任意話者のMRIデータを用いて、個人性のある生理学的発話計算モデルの簡易構築法を研究し、構築精度を向上させるため、話者の発話器官の特徴に合わせてグループ化方法を検討した。また、発話過程における声道形状の動的変化を再現するため、汎用有限時間領域差分法を用い、動的境界を取り入れることを試みた。その結果は学術雑誌論文として採択された。
被験者を第二言語の発話動作に関連する舌運動の制御のみを訓練させ、運動指令を学習することにより、馴染みのない第二言語の取得へ大きな効果があることを明らかにした。
日本語有声子音に対して、MRI測定や、壁振動の計測、口腔内と鼻腔内の音圧及び音声信号などの計測を用いて、有声音バズバー（voice bar）の生成メカニズムを検討したところ、日本語の有声子音のバズバーの生成には、軟口蓋の振動が深く関与しており、約半分のバズバーは鼻腔放射音によりできたものであることを明らかにした
また、視覚・運動・意思決定に関する脳科学の計算理論に基づいて、上肢運動制御の運動方程式と大脳皮質運動野の情報表現や、第一次運動野は空間ベクトルを用いて到達運動ダイナミクスを計算する実験とシミュレーションを行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２６年度ほぼ計画通り研究を進めている。具体的にいうと、フィードバック付き学習方法により調音筋の活動パターンの自動推定方法を更に改善した；個人性のある生理学的発話計算モデルの簡易構築法を研究し、構築精度を向上させる方法を検討した；発話過程における声道形状の動的変化を汎用有限時間領域差分法を用い、動的境界を取り入れた。
被験者を第二言語の発話動作に関連する舌運動の制御のみを訓練させ、運動指令を学習することにより、馴染みのない第二言語の取得へ大きな効果があることを明らかにした。
日本語有声子音に対して、MRI測定や、壁振動の計測、口腔内と鼻腔内の音圧及び音声信号などの計測を用いて、有声音バズバー（voice bar）の生成メカニズムを検討したところ、日本語の有声子音のバズバーの生成には、軟口蓋の振動が深く関与しており、約半分のバズバーは鼻腔放射音によりできたものであることを明らかにした
現在、EEGなどを用いて音声生成時における脳の制御メカニズムの究明など研究は結果が出始めた。
|
| Strategy for Future Research Activity |
平成２７年度では、これまで得られた発話制御のニューロン計算モデルを基に、神経生理学的発話過程制御計算モデルを構築する。そのモデルに対して、モジュールの機能に摂動を加えたり、または一部のモジュール間の結合を変更させたりすることで、モデルのパラメータを変動させながら数値シミュレーションを行い、モデルの発話動作を確認すると共に、個々の構成要素の挙動および全体としてどのような働きを示すか調べる。その結果に応じてモデルの構成要素に修正を加える。
構築されたモデルを用いてシミュレーションと検証実験を行う。その中、音声生成過程の模擬：筋電図、磁気センサーによる発話運動および音声波形など計測データ用いて評価；発話制御モデルの精密さを向上させるため、モデルの挙動を観測結果に接近させるようにモデルのパラメータを繰り返し調整する。
音声生成時における脳の制御メカニズムの究明などの研究について、被験者をさらに増やして、EEGなどを用いる実験により発話過程における脳の神経制御機能を明らかにする。神経科学の最新進展や計測データに基づいて計算モデルを高度化し、発話過程制御に関する脳高次機能から末梢器官までの機能的役割を明確化させ、人間の発話機能獲得と発話制御のメカニズムに関する新しい知見を求める。さらに、発話過程を可視化することにより、発話障害者のリハビリテーションへの応用を試みる。
|
-
-
-
-
-
-
[Journal Article] Jaw displacement and metrical structure in Japanese: The effect of pitch accent, foot structure, and phrasal stress2014
Author(s)
Kawahara, S., Erickson, D., Moore, J., Suemitsu, A., Shibuya, Y.
-
Journal Title
Journal of Phonetic Society of Japan
Volume: 18
Pages: 77-87
Peer Reviewed / Open Access
-
[Journal Article] Quantifying the effects of vowel quality and preceding consonants on jaw displacement: Japanese data2014
Author(s)
Kawahara, S., Masuda, H., Erickson, D., Moore, J., Suemitsu, A., Shibuya, Y.
-
Journal Title
Journal of Phonetic Society of Japan
Volume: 18
Pages: 54-62
Peer Reviewed / Open Access
-
-
[Presentation] Jaw displacement patterns as articulatory correlates of metrical structure2014
Author(s)
Erickson, D., Kawahara, S., Wilson, I., Menezes, C., Kim, J., Suemitsu, A., Shibuya, Y.
Organizer
Phonetic Building Blocks of Speech
Place of Presentation
Victoria, Canada
Year and Date
2014-09-20 – 2014-09-20
-
-
-
-
-
-
-
-
-
-
-
