2023 Fiscal Year Annual Research Report
Developing Low-Resource Multilingual Machine Speech Chain for Breaking Language Barriers
| Project/Area Number |
21H03467
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
SAKTI Sakriani 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00395005)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 哲 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (30263429)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 低資源音声技術 / 多言語音声認識 / 多言語音声合成 / 音声翻訳 / Machine Speech Chain |
|---|
| Outline of Annual Research Achievements |
新型コロナ感染等による危機管理のグローバル化や、大型国際イベントの開催など、海外からの居住者および観光客との言葉の壁は深刻な問題となっている。いくつかの音声翻訳サービスが実用化されているが、高精度の翻訳性能を実現するために、広範な音声と対応する書き起こしデータを使用する教師あり学習ディープラーニングに基づいた音声翻訳の開発が必須である。本研究では、人間の言語習得プロセス、特にSpeech Chain メカニズムに基づいて、多言語の言語習得のための新しいディープラーニングの教師なしおよび半教師あり学習メカニズムを提案する。本研究で以下の課題を構成して取り組む。課題1：人間の言語処理および認知に関する文献調査および検証、課題2：リソースの少ない言語の音声およびテキストデータの収集、課題3：多言語Machine Speech Chainフレームワークの開発、「話しながら聞いて多言語を学ぶ」を実行する（オフライン半教師あり学習）、課題4：多言語Machine Speech Chainフレームワークの改善、リアルタイム学習(オフラインとオンライン学習)を実行する、課題5：多言語Machine Speech Chainフレームワークの改善、自己Lifelong学習（オンライン学習)を実行する、課題6：多言語Machine Speech Chainフレームワーク内に機械翻訳を組み込む、課題7：音声翻訳のため、多言語Machine Speech Chainフレームワークの開発、「話しながら聞いて翻訳する」を実行す
る（オフライン半教師あり学習とオンライン自己Lifelong学習）。R5年度までは、課題1-5：多言語Machine Speech Chainフレームワークの改善の開発しました。合計で、３つの招待講演（基調講演）、10つの査読付き国際会議論文、７つの国内会議論文を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R5年度までは、計画どおり、課題1-5：多言語Machine Speech Chainフレームワークの改善の開発しました。 リアルタイム学習（オンライン学習）Machine Speech Chainの研究に関連して、リアルタイムで状況に適応できる機械の発話連鎖フレームワークの性能を更に向上させることに成功しまして、IEEE ICASSPというトップ国際会議で発表された。さらに、来年の目標である課題６：多言語Machine Speech Chainフレームワーク内に機械翻訳を組み込む開始しまして、国際会議での出版も達成できた。しかし、異なる多言語の大量の作業は、アノテーションされた音声データの不足のため困難です。そのため、未知の未翻訳言語に対処するためにビジュアルグラウンディングモデルのアプローチを提案しました。また、多言語システムのためにインドネシアの大学及びベトナムの研究所とも連携して、国際会議に論文を投稿した。
|
| Strategy for Future Research Activity |
R６年度では、以下の課題に取り組みます。
課題3：多言語Machine Speech Chainフレームワーク「話しながら聞いて多言語を学ぶ」（オフライン半教師あり学習）の開発に関しては、実験を継続します。特に、新しい教師なし機械Machine Speech Chainの可能性を調査します。
課題4：多言語Machine Speech Chainフレームワークの改善とリアルタイム学習（オフラインとオンライン学習）の開発に関しては、インクリメンタルMachine Speech Chainの実験を継続します。特にMachine Speech Chainの性能を改善し、さらに多くの言語を調査します。
課題5：多言語Machine Speech Chainフレームワークの改善と自己Lifelong学習（オンライン学習）に関しては、実験を継続します。
課題6：多言語Machine Speech Chainフレームワーク内に機械翻訳を組み込みます。
特に課題6に焦点を当てつつ、課題3から5をさらに強化し続けます。
|
