| 研究課題/領域番号 |
19K00922
|
|---|
| 研究機関 | 東京電機大学 |
|---|
研究代表者 |
大浦 泉 (花崎泉) 東京電機大学, 未来科学部, 教授 (50180914)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 発音訓練 / 調音動作 / 口唇運動 / 下顎運動 / 表面筋電位信号 / 声道断面積関数 / MR画像 / モーションキャプチャ |
|---|
| 研究実績の概要 |
日本語を母語とする人の英語発音訓練において、音声の音響学的特徴ならびに調音器官の形状を視覚的表示して支援する方法に加え、調音動作を担う表情筋の使い方を教示する支援法の構築のため、調音時の口唇形状と口腔内舌形状の音声信号からの推定の改善と特定した筋肉の活動量と音声特徴量であるフォルマントとの関係を解析した。
これまで、調音時の調音器官形状の推定は、頭部矢状断面MR画像に基づき推定アルゴリズムを開発している。フォルマントのみからの調音器官推定では、調音動作の一つである口唇突出では舌形状推定にばらつきが生じることから、フォルマントに声道断面積関数を加えることによりこの問題を解決できることが確認できた。MR画像は調音器官の２次元断面図であることから、これに基づき開発した推定アルゴリズムを立体的な形状の推定に拡張するため、モーションキャプチャによる口唇周りの形状測定データへ適用して検証を行なった。その結果、口唇形状は個人差が顕著であるため、特に口唇突出時の形状測定や下顎の動きの測定については、測定点は生体的構造を加味して選定する必要があることが判明した。
舌形状推定では改善した推定アルゴリズムを適用して口腔内を８セクタに分割して舌位置を算出した。口腔内舌面最高点をセクタの相対的位置関係で視覚的に表示する方法を考案して、母音IPAチャートとの対応を検証した。日本語母音での検証では、舌面最高点の前後位置についてはある程度の一致を確認することができた。
音声信号からの調音器官形状推定のMR画像データよる検証が進んだことを受け、被験者を増やしての個人差の検証と正規化法の考案、訓練システムの実機への実装に着手した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
音声からの調音器官形状の推定については、MR画像ならびに同時録音された音声信号に基づく推定アルゴリズムの改良とその検証ができ、実機への実装レベルに達したことを確認できた。本研究の最大の提案である調音運動を担う表情筋ならびに下顎運動と調音動作ならびに音声フォルマントとの解析は、モーションキャプチャによる口唇周りの動きの測定、表情筋の表面筋電位信号の測定、音声信号を同期して取得する実験が必要である。コロナ感染拡大防止のための規制措置により、実験計画に即した実施ができなかったことから、解析・検証には十分は実験データが取得しきれていない状況であった。個人差の影響の把握、さらに汎用性を確保するための個人性の除去を考慮するための被験者を増やしての実験に着手できていない。以上より、本研究の進捗はやや遅れていると判断した。
|
| 今後の研究の推進方策 |
表情筋活動・下顎運動に着目した調音教示法の構築に向けて、本年度は、音声信号に基づく調音器官形状推定アルゴリズムの検証が終了し、訓練システム実機への実装に至った。
訓練システム利用の観点からは、個人性を除去して汎用性のある教示方法の構築が必要である。実験の頻度はコロナ禍の社会情勢に依るところもあるので、これまで所得した実験データを用いて、新たな実験以前に個人差の影響の実態を把握しておく手順を追加して、新たな実験の実験条件・解析手順の効率化を図る。ターゲットとする音韻について実験の優先順をつけ、日本語を母音とする人が苦手な音韻から順次実験データを取得するよう実験計画を再構成することにする。限定的ではあるが、その実験結果に基づき表情筋活動・下顎運動に着目した調音教示法を考案して、発音訓練システムにてその効果を確認する。
発音教示ではIPAチャートに基づく指導がなされている現状を踏まえ、IPAチャートと舌面最高点の推定との比較では、MR画像ならびに同時録音の音声信号による追加の検討が必要であるので、実験計画とは別途に推進していくことにする。上記で考案された教示法と従来IPAチャートに基づく指導法との整合性を検証する。
上記を統合して、表情筋活動・下顎運動による音声フォルマントの変化、調音器官の形状変化との関連を整理して、表情筋活動・下顎運動に着目した調音教示法としてまとめる。
|
| 次年度使用額が生じた理由 |
本年度は、コロナ禍の社会情勢のため実験が当初の計画より実施できなかったため、実験の補助ならびにデータ整理のための人件費が予定額を下回る支出しかしていないため、次年度使用額として繰り越すこととなった。
次年度は、実験のための補助とデータ整理のための人件費、効果検証のための専門家のアドバイス聴取のための謝金、縮小された実験を補う音声データベースの購入が見込まれるため、翌年度分の助成金と併せて使用する予定である。
|
