| 研究課題/領域番号 |
19K00922
|
|---|
| 研究機関 | 東京電機大学 |
|---|
研究代表者 |
大浦 泉 (花崎泉) 東京電機大学, 未来科学部, 教授 (50180914)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 発音訓練 / 表情筋電位信号 / 口唇運動 / 下顎運動 / 声道断面積関数 / MR画像 |
|---|
| 研究実績の概要 |
日本語を母語とする人の英語発音訓練を視覚的に支援する方法に加え調音動作を担う筋肉の使い方を組み込んだ教示法の構築のため、口唇運動と口唇周りの筋活動との関係の解析、下顎を含めた口唇運動を測定するための顔領域特徴量の抽出、口唇突出動作による調音時口腔内舌面最高点の検出方法の検証を行った。
口唇運動を担う筋肉の筋活動を表面筋電位信号により推定し、音声フォルマントの変化との相関を解析した。口輪筋・咬筋・舌骨舌筋の筋活動量とフォルマントとの関係が見いだされ、発音教示における筋活動からの口唇運動モデルの有力な入力信号候補であることが示唆された。
下顎運動を含めた口唇運動を測定するため、調音時MR画像からの顔領域の特徴点を抽出し、特徴点間距離と音声フォルマントとの相関関係を解析して口唇運動の顔領域測定点を抽出した。モーションキャプチャにより特定された顔領域特徴点を計測し音声フォルマントとの関係を検証し、抽出された顔領域特徴点の有効性を検証した。
調音時口唇動作では口唇の開口度に加え口唇突出動作が舌面最高点の口腔内前後位置の移動に関係していることが判明している。口唇突出動作も含めた口唇運動により音声の音響学的特徴を定める口腔内の舌形状を推定する必要がある。これまでの音声フォルマントからの舌形状推定では、口唇突出時の舌面最高点の推定にばらつきが生じることが判明していた。フォルマントに代わって声道断面積関数を用いることにより口唇突出時の舌形状の推定がMR画像から抽出される舌形状との一致度が向上することを確認した。これにより、フォルマント推定過程に算出される反射係数から推定される声道断面積関数とMR画像から抽出される舌形状とを重回帰分析することにより、音声信号からの舌形状を推定する数理モデルの検証に着手した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2019年度での研究計画の一つめである日本語発音時と英語発音時での表情筋活動の違い解析することにより著運運動を担う筋肉を特定して音声フォルマントとの相関の調査は、実験を通して口輪筋・咬筋・舌骨舌筋が有力な候補であることを明らかにできた。筋活動量と口唇・下顎運動の数理モデル構築のための事前準備である口唇・下顎運動を計測するための顔領域特徴点が特定できた。本研究で要となる音声信号からの調音時口腔内舌形状推定においては、音声信号の特徴量としてフォルマントを利用する代わりに声道断面積を用いることにより口唇突出動作の影響まで推定可能であるとの示唆を、実験を通して得ることができた。以上より、本研究の進捗は概ね順調であると判断した。
|
| 今後の研究の推進方策 |
表情筋活動・下顎運動に着目した調音教示法の構築に向けて、本年度は、筋活動量と口唇・下顎運動の関係を記述する数理モデルならびに音声信号に基づく調音時口腔内舌形状推定モデルの入出力となる信号の候補を特定するに至った。次年度は、モデル構造の選定、調音教示法構築に利用可能な精度実現にむけての検証実験を計画する。
調音教示利用の観点からすると個人性を除去して汎用的な特徴を抽出することが必要である。両モデルとも個人性の除去問題を解決すべく検証実験を計画する。事前実験段階では、MR画像より調音時の舌形状を抽出したデータ、口唇・下顎の顔領域特徴点を抽出したテーダを用いてモデルのプロトタイプを構築している。個人性の除去のためには被験者数を増やすことが必須であるが、全被験者のMR画像を撮影することは非現実的である。その解決のため、音声信号に基づく調音時口腔内舌形状推定モデルの精度向上と、口唇・下顎運動をモーションキャプチャによる計測データを用いたときのモデル精度の検証を促進する。
発音教示はIPAチャートをイメージして実施されることが想定される。IPAチャートは口腔内の舌面最高点との対応関係が認められている。個人性の除去やモデルの精度については、舌面最高点の音韻による相対関係がIPAで確認できることを達成することを目標に、モデル検証を進める。事前実験では声道断面積に基づく推定において効果が期待されているため、被験者数や対象音韻を増やして検証実験を計画する。
筋活動量と口唇・下顎運動の関係記述のための数理モデルでは、調音を担う主たる筋肉の候補が事前実験により特定された。表面筋電位信号から筋活動量の推定量としては、事前実験ならびに他の運動解析の経験よりRMS値（二乗平均平方根）、パワスペクトルが候補となっている。次年度は、筋活動量と口唇開口度・下顎移動量の静的モデルを構築して検証する。
|
| 次年度使用額が生じた理由 |
本年度は、実験の補助ならびにデータ整理のための人件費が主なる支出であった。実験データの整理が年度末にかかり、データ保管ならびにプリントアウトのための消耗品を購入に至らず、次年度使用額として繰り越すこととなった。
次年度は、本年度に引き続き、実験の補助ならびにデータ整理のための人件費と実験機器の消耗品購入が見込まれるため、翌年度分の助成金と併せて使用する予定である。
|
