2004 Fiscal Year Annual Research Report
音声コミュニケーションにおける知覚と生成の相互作用に関する研究
| Project/Area Number |
16300053
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
赤木 正人 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (20242571)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
党 建武 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (80334796)
鵜木 祐史 北陸先端科学技術大学院大学, 情報科学研究科, 助手 (00343187)
LU Xugang 北陸先端科学技術大学院大学, 情報科学研究科, 助手 (20362022)
|
|---|
| Keywords | 音声知覚 / 音声生成 / 聴覚変形フィードバック / 筋電信号 / 顔画像 / フォルマント |
|---|
| Research Abstract |
聴覚フィードバック装置および生体計測実験装置の準備を行い,まずフィードバックされた変形音声と話者が発話した音声の特徴を比較することにより,聴覚フィードバックの有無,その大きさ,および発話音声に与える影響について議論を行った.具体的には,以下の項目について研究を行った.
(1)実験装置の準備,リアルタイムでの変形が可能な音声分析,変形,合成方式の実現およびインプリメントを行う.
(2)生体計測の準備を行う.
(3)変形フィードバックと生成された音声との関係を論じる.
結果として,以下のことが明らかとなった.
1.音声知覚の面からだけでなく調音運動のレベルでも考察できるように、従来のスペクトル分析に加え、筋電信号と画像情報も同時に計測した。
2.今回の実験では、中国母音の[i]と[y]を実験対象として選んだ。その理由として、[y]の発話時は口唇の突出のみが[i]とは異なる以外、これら2つの母音が似たような声道形状をしているためである。その結果、フィードバック音声が[y]に変わった時に、被験者が[i]の発話を強調しようとする筋電信号が見られた。フィードバック音声が摂動状態の部分に、71%の割合でそのような応答特性が筋電信号に観測された。
3.スペクトル分析においても、母音の第2フォルマントで補正が起こるという確かな証拠が示された。
4.筋電信号と音響分析の結果から、聴覚フィードバックは発話時に頻繁に起きており、発話者は聴覚系の知覚による補正を行っていることが分かった。
|
