3D mouth shape recognition for sound pronunciation training

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K11220
• Research Institution: Tokyo City University
• Principal Investigator: 包 躍 東京都市大学, 情報工学部, 教授 (20283103)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 発声訓練 / ３次元口形 / 認識 / 機械学習 / 母音認識

Outline of Annual Research Achievements

本年度の研究実績としては、まず、発声訓練の基本となる母音の発音訓練を容易に行えるためのシステムとして母音認識システムの研究を行い、システムを構築した。そして、構築した母音認識システムが確実に母音認識を行えることを実験で確認した。
母音識別については、以前研究代表者の研究グループが提案した手法により、３次元点群を用いた手法で母音の識別が行えることが確認できている。しかし、各訓練者に対してそれぞれの識別用モデルを生成する必要があり、汎用性がなかった。そのため、本年度では、３次元点群の形状を入力することで、点群データのモデルをクラス分けの行える機械学習用のモデルを用いて、汎用性のある母音識別法について研究を行い、これまでにない新しい方法を開発した。この新しい母音識別法と従来使用されているマルチモーダルを用いた母音識別法と比較実験を行った結果、新しい母音識別法は従来使用されているマルチモーダルを用いた母音識別法と同程度の識別率を得ることが可能であることが確認された。つまり、本研究で開発した新しい方法は点群のみを使っても、従来の画像情報と音声情報を同時に必要とする方法の識別率と同程度の識別率であるため、母音識別法としてはかなり良い研究成果が得られたといえる。
本年度の研究で開発した機械学習を用いた母音識別法とそれを用いた実験結果をまとめた学術論文の執筆もほぼ完成しており、現在論文の校正や投稿先の検討などを行っている。今後専門分野内での影響ある国際ジャーナルに投稿する予定である。また、本手法の研究および実験中に収集した学習用データを公開し、今後他の研究者と共有することで日本語の発音・発生に関する研究を一層推進させることも計画している。これが完成したら、本研究の学習データはオンラインデータベースで国内外の研究者に公開する予定である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は、発声訓練の基本となる母音の発音訓練を容易に行えるためのシステムとして母音認識システムの研究を行い、システムを構築した。構築した母音認識システムが確実に母音認識を行えることを実験で確認した。

Strategy for Future Research Activity

今年度の成果により、汎用性の高い母音識別が可能になった。今後はこの新しい方法を用いて動画中から母音発音時の口形を識別することで、母音を切り出すことにより実際に発音訓練に利用される場合のことを考慮した応用システムの研究開発を行う。

Causes of Carryover

理由
コロナ禍で、予定の調査研究ができなくなり、関連の購入も次年度の計画に入れた。
使用計画
今年度は汎用性のある母音認識法を考案し、確認実験で有効性を確認した。この状況から次年度は母音認識システムと訓練システムを併せてのシステムを構築するので、物品購入費や調査研究費として使用する。