発音訓練中の調音器官形状可視化情報の活用と訓練効果の分析に基づく調音教示法の検討

Research Project

Project/Area Number	23K00754
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 02100:Foreign language education-related
Research Institution	Tokyo Denki University
Principal Investigator	大浦泉 (花崎泉) 東京電機大学, 未来科学部, 教授 (50180914)
Project Period (FY)	2023-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2025: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000) Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Keywords	発音訓練 / 調音動作 / フォルマント表示 / 口唇形状 / 舌形状 / 表情筋活動量 / 口唇運動 / 舌形状表示
Outline of Research at the Start	発音訓練では、所望の音韻を生成するための調音器官（舌・口唇）の形状を的確に制御し、その調音運動を定着させることが必要である。訓練促進には、訓練者が実行しやすい教示を与えること、訓練成果を絶えず認識して改善に取り組める環境が重要であり、英語教員など訓練指導者がこれらの任務を担っている。申請者は音声信号から調音器官の形状を可視化するシステムを開発しているシステムでは、音声の音響学的特徴であるフォルマントと口唇形状・舌形状を視覚的に表示するものである。本研究では、本システムを基盤として、訓練者の習熟にあわせた発音訓練指導支援法を構築し訓練成果を検証する。
Outline of Annual Research Achievements	本研究は、日本語母語話者の英語発音訓練において、音声の音響学的特徴であるフォルマントと口唇形状・舌形状を視覚的に表示するシステムを基盤として、訓練者の習熟にあわせた発音訓練指導支援法を構築するため、３種類の視覚的表示の利用状況を発音訓練中の訓練者の視線をアイカメラで計測することより調査し、訓練効果促進のための表示を検討した。調査の結果、訓練者はフォルマント表示により規範音声との違いを認識、口唇の開口度により調音運動を制御、舌形状は理解しにくく訓練が進むにしたがって調音状況を確認するために参照し始めることがわかった。同時に、訓練環境整備に向けて、システムのPCへの移植、訓練母音を単語にて練習可能にするための母音抽出機能の追加、舌形状認識のための事前練習モードの導入を完了した。発音訓練の指導支援法の検討のため、上記システムを用いてAppleの冒頭の母音とUmbrellaの冒頭の母音を規範とした発音訓練実験を行った。訓練者には調音に関する文章による教示を与え、システムにより効果を確認しながら訓練するように指示した。その結果、口唇の横開きにより第２フォルマントを調整し、縦開きにより第１フォルマントを調整する傾向が観測された。口唇形状に関する指示は訓練者が理解しやすいことから訓練指導支援法の有力な候補となっていたが、本実験により訓練促進効果が示唆された。事前に構築していた調音時の表情筋活動とフォルマントの数理モデルを用いて、口唇開口に関する方向を矢印にて表示する口唇形状の視覚表示を構築してシステムに搭載し発音訓練実験を行ったところ、規範音韻のフォルマントと訓練者フォルマントのフォルマント空間での距離を評価規準とした場合、訓練時間の短縮が認められた。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 発音訓練の指導支援法構築のために必要な訓練者情報として、視覚表示の利用状況、調音制御に有効な視覚支援の候補を、発音訓練の事前実験より特定することことができた。これらは概ね事前の予測していた結果に合致しており、当初の研究計画通りに進捗している。事前実験より、フォルマント表示における個人性の影響を軽減するための正規化処理の適応範囲が狭いことが判明したが、アルゴリズムの改良によって対処することができた。発音訓練の事前実験により、訓練所要期間や訓練成果のデータ蓄積の仕様なども検討できてきたので、訓練調音動作の拡張のための準備を進めることができるようになった。以上より、本研究の進捗は概ね順調であると判断した。
Strategy for Future Research Activity	発音訓練の指導支援に有効な視覚表示として、フォルマント空間と口唇開口度が候補として特定するに至っている。事前実験では、被験者ならびに訓練規範音韻が限定されていたので、実験条件を拡張して訓練促進過程に関するデータを取得することにする。発音訓練の最終目標は当該言語話者が識別できることである。そこで、音声学専門家の聞き取り評価と上記候補特徴量の関連を調査し、訓練達成度測定用特徴量と支援表示効果推定用特徴量を抽出する。上記取り組みと並行して、現在提唱されている発音訓練に関する教示法を、調音器官の制御という観点から分類する。事前実験から、ことばによる教示は訓練者が理解しやすく調音制御のための動作を形成しやすいというメリットがある。教示法による訓練効果を調音器官の形状で確認すると、間接的な指示ではあるが舌形状の前後位置、舌面の高低の調整に関与している。訓練者に適切なことばでの発音教示を与え、その効果を視覚表示によって確認することは、発音訓練の促進ならびに調音メカニズムの理解につながると考えられる。訓練システムでは発音教示を文章で表示する機能を追加しているので、訓練実験によって有効な教示法を選定する。それを受けて調音器官の視覚表示に訓練者の理解を促進する表示機能を付加して検証する。