| 研究課題/領域番号 |
20K11220
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分59010:リハビリテーション科学関連
|
|---|
| 研究機関 | 東京都市大学 |
|---|
研究代表者 |
包 躍 東京都市大学, 情報工学部, 教授 (20283103)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2021年度)
|
| 配分額 *注記 |
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2022年度: 260千円 (直接経費: 200千円、間接経費: 60千円)
2021年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2020年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
|
|---|
| キーワード | 発声訓練 / ３次元口形 / 点群データ / 認識 / 機械学習 / 母音 / 言葉 / 区切り / 母音認識 |
|---|
| 研究開始時の研究の概要 |
高度難聴でも発声訓練で発声と読唇術を習得すれば、普通にコミュニケーションできる。発声訓練では指導者の「口の形」を見て模倣するのが伝統的な方法であるが、生まれる時から耳が聞こえない者にとってはとても辛い。発声訓練をサポートするシステムが発表されたが、従来の指導者による訓練で最も有効だとされている「口の形」からの訓練ができない。「口の形」からの訓練を可能にするには、口形を正確に認識する必要がある。口形認識技術に機械読唇があるが、認識率が低い、顔の動きに対応できない、照明変化に弱いため、利用できない。本研究では上記問題を伴わない口形認識技術を開発し、口形から指導可能な革新的発声訓練システムを目指す。
|
| 研究実績の概要 |
本年度の研究実績としては、下記の５つである。
①発音する被験者の唇の領域を自動的に切り出し、その３次元点群の形状を入力することで、点群データのモデルのクラス分けが行える機械学習用のモデルを作成した。これを用いて日本語の母音識別実験を行い、被験者の唇の領域の３次元点群のみでの日本語母音識別法を確立させた。
②本年度の研究で確立した機械学習による日本語発音時の母音識別法及びこの方法を用いたさまざまな検証実験の実験結果をまとめ、専門分野の査読付き国際ジャーナル（IF2.7）に投稿し、2022年5月に掲載された。
③口の形状による日本語母音認識で得られた知見を基に、本研究の目的を達成するための口の形状による日本語の言葉の認識を行うための調査研究を始めた。言葉に対する認識は音声や唇の形状による認識が考えられるが、音声による言葉の認識では、英語に対する研究が多いが、日本語に対する研究があまり行われていない。また唇の形状による言葉の認識では、英語に対しては音声認識と一緒に使う研究が行われているが、日本語に対しては研究例が見当たらない。
④③の調査結果に踏まえ、まず機械学習を用いた音声による言葉の認識に関連するさまざまな手法について調査を行い、基礎実験などで確認し、どのように利用できるのかを検討した。
⑤基礎実験より、口の形を用いる日本語の言葉に対する認識では、言葉と言葉の区切りを認識することが重要であることが分かったので、まずは言葉と言葉の区切りを認識できるようにする方法の調査及びその関連実験を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度はこれまでの研究で確立した機械学習による日本語発音時の母音識別法及びこの方法を用いたさまざまな検証実験の実験結果をまとめ、専門分野の査読付き国際ジャーナル（IF2.7）に投稿し、査読結果による改良なども行い、掲載させた。また、口の形状による日本語母音認識を発展させ、口の形状による日本語の言葉の認識を行うための調査研究を始めた。口の形を用いる日本語の言葉に対する認識では、言葉と言葉の区切りを認識することが重要であることが分かったので、まずは言葉と言葉の区切りを認識できるようにする方法の調査及びその関連実験を行った。
|
| 今後の研究の推進方策 |
今年度の成果により、母音識別の領域から言葉の識別の領域に入った。今後はまず日本語での口の形と言葉に関するデータベースを作成し、完成したら口の形を用いる言葉の認識で一番難しいと考えている言葉と言葉の区切りを認識することを可能にする。その後には実際に発音訓練に利用可能なシステムの開発を行う。
|
