話者・地域・スタイルモーフィング音声合成による実環境リスニング学習支援
| Project/Area Number |
23K21945
|
|---|
| Project/Area Number (Other) |
22H00673 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 02100:Foreign language education-related
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2024: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2022: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
|
|---|
| Keywords | 英語学習支援 / CALL / 音声合成 / スタイルモーフィング / リスニング学習支援 / テキスト音声合成 / 深層学習 / リスニング / 統計的音声合成 / 語学学習支援 |
|---|
| Outline of Research at the Start |
本研究課題では、実環境での日本人の英語リスニング能力の効率的かつ着実な向上を実現するため、統計的音声合成に基づく段階的音声シミュレーションによる革新的リスニング学習支援方法について検討する。具体的には
(1)話者・地域・スタイルの異なる英語音声コーパスの構築、およびそれを用いた深層学習によるモーフィング音声合成技術の確立
(2)モーフィング音声合成に基づく段階的音声シミュレーションによるリスニング学習支援システムの構築とリスニング能力向上の実証実験と改良
により、これまで困難であった学習者に合わせたテーラーメイド型のリスニング支援技術を確立する。
|
| Outline of Annual Research Achievements |
本研究課題では、「音響工学および音声知覚の観点から、リスニング能力の効率的な向上のための方法論とはなにか?」という学術的問いに対する解を導くため、これまで我々が統計的音声合成、機械学習、対話型英会話学習システムなどの研究により培ってきた個別の要素技術を融合・発展させ、話者・地域・スタイル・訛りといった英語音声の特徴を深層学習に基づくモーフィング技術により段階的にシミュレーション可能な全く新しい実環境リスニング学習支援の実現を目指し、以下の具体的な4項目について検討を行うことを目的とする。(a)多様な話者・地域・スタイルを有する音声コーパスの設計と構築、(b)深層学習に基づくモーフィング音声合成技術の確立、(c)モーフィング音声合成を用いたリスニング学習支援システムの開発、(d)提案システムによる実環境におけるリスニング能力向上の実証実験。2023年度は上記のうち(b)および(c)について話速スタイルの観点から検討を行った。(b)については、Glow-TTSをベースとして話速情報を埋め込むことにより話速および話速に関係するスタイル（話速スタイル）の制御が可能であることを示すとともに、テキストエンコーダの改良により、音声・スタイルの再現性についての改善手法を提案し、その有効性を客観指標により示した。(c)についてはWebベースで利用可能な段階的な話速制御に基づくリスニング学習・評価システムを構築した。(d)については(c)のシステムをクラウドソーシングにおり実際に利用してもらい、従来の話速制御を行わないシステムと比較してリスニング能力が向上することを実験的に示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は当初は(b)深層学習に基づくモーフィング音声合成技術の確立、および(c)モーフィング音声合成を用いたリスニング学習支援システムの開発、の一部を行うことを予定していたが、(c)について簡易的なシステムの構築を優先したため、結果としてシステムの構築が完了し、(d)の提案システムによる実環境におけるリスニング能力向上の実証実験、まで行うことができた。
|
| Strategy for Future Research Activity |
2023年度までに当初予定していた(a)多様な話者・地域・スタイルを有する音声コーパスの設計と構築、(b)深層学習に基づくモーフィング音声合成技術の確立、(c)モーフィング音声合成を用いたリスニング学習支援システムの開発、(d)提案システムによる実環境におけるリスニング能力向上の実証実験については、話速スタイル制御、について一通り完了することができた。これにより全体的なシステムの枠組みが完成したため、2024年度については地域・話者に伴うスタイル（アクセント＝訛り）の変化について検討を進める。具体的にはまずは既存のL2話者による英語発話音声コーパスのサーベイを行い、それらを利用した音声合成およびスタイル・訛りの度合いの制御について検討を進める。また、度合いの制御性能および音声の品質についても改善を検討する。
|
Report
(2 results)
Research Products
(8 results)
