2021 Fiscal Year Research-status Report
3D mouth shape recognition for sound pronunciation training
| Project/Area Number |
20K11220
|
|---|
| Research Institution | Tokyo City University |
|---|
Principal Investigator |
包 躍 東京都市大学, 情報工学部, 教授 (20283103)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 発声訓練 / ３次元口形 / 点群データ / 認識 / 機械学習 / 母音 / 言葉 / 区切り |
|---|
| Outline of Annual Research Achievements |
本年度の研究実績としては、下記の５つである。
①発音する被験者の唇の領域を自動的に切り出し、その３次元点群の形状を入力することで、点群データのモデルのクラス分けが行える機械学習用のモデルを作成した。これを用いて日本語の母音識別実験を行い、被験者の唇の領域の３次元点群のみでの日本語母音識別法を確立させた。
②本年度の研究で確立した機械学習による日本語発音時の母音識別法及びこの方法を用いたさまざまな検証実験の実験結果をまとめ、専門分野の査読付き国際ジャーナル（IF2.7）に投稿し、2022年5月に掲載された。
③口の形状による日本語母音認識で得られた知見を基に、本研究の目的を達成するための口の形状による日本語の言葉の認識を行うための調査研究を始めた。言葉に対する認識は音声や唇の形状による認識が考えられるが、音声による言葉の認識では、英語に対する研究が多いが、日本語に対する研究があまり行われていない。また唇の形状による言葉の認識では、英語に対しては音声認識と一緒に使う研究が行われているが、日本語に対しては研究例が見当たらない。
④③の調査結果に踏まえ、まず機械学習を用いた音声による言葉の認識に関連するさまざまな手法について調査を行い、基礎実験などで確認し、どのように利用できるのかを検討した。
⑤基礎実験より、口の形を用いる日本語の言葉に対する認識では、言葉と言葉の区切りを認識することが重要であることが分かったので、まずは言葉と言葉の区切りを認識できるようにする方法の調査及びその関連実験を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度はこれまでの研究で確立した機械学習による日本語発音時の母音識別法及びこの方法を用いたさまざまな検証実験の実験結果をまとめ、専門分野の査読付き国際ジャーナル（IF2.7）に投稿し、査読結果による改良なども行い、掲載させた。また、口の形状による日本語母音認識を発展させ、口の形状による日本語の言葉の認識を行うための調査研究を始めた。口の形を用いる日本語の言葉に対する認識では、言葉と言葉の区切りを認識することが重要であることが分かったので、まずは言葉と言葉の区切りを認識できるようにする方法の調査及びその関連実験を行った。
|
| Strategy for Future Research Activity |
今年度の成果により、母音識別の領域から言葉の識別の領域に入った。今後はまず日本語での口の形と言葉に関するデータベースを作成し、完成したら口の形を用いる言葉の認識で一番難しいと考えている言葉と言葉の区切りを認識することを可能にする。その後には実際に発音訓練に利用可能なシステムの開発を行う。
|
| Causes of Carryover |
理由
コロナ禍で、予定の調査研究ができなくなった。
使用計画
今年度は汎用性のある母音認識法を考案し、確認実験で有効性を確認した。この状況から次年度は母音認識システムと訓練システムを併せてのシステムを構築するので、物品購入費や調査研究費として使用する。
|
