2022 Fiscal Year Annual Research Report
Developing Low-Resource Multilingual Machine Speech Chain for Breaking Language Barriers
| Project/Area Number |
21H03467
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
SAKTI Sakriani 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00395005)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 低資源音声技術 / 多言語音声認識 / 多言語音声合成 / 音声翻訳 / Machine Speech Chain |
|---|
| Outline of Annual Research Achievements |
新型コロナ感染等による危機管理のグローバル化や、大型国際イベントの開催など、海外からの居住者および観光客との言葉の壁は深刻な問題となっている。いくつかの音声翻訳サービスが実用化されているが、高精度の翻訳性能を実現するために、広範な音声と対応する書き起こしデータを使用する教師あり学習ディープラーニングに基づいた音声翻訳の開発が必須である。本研究では、人間の言語習得プロセス、特にSpeech Chain メカニズムに基づいて、多言語の言語習得のための新しいディープラーニングの教師なしおよび半教師あり学習メカニズムを提案する。R4年度は、課題3:多言語Machine Speech Chainフレームワーク「話しながら聞いて多言語を学ぶ」（オフライン半教師あり学習）の開発を中心とした。その後、課題4：多言語Machine Speech Chainフレームワークの改善とリアルタイム学習(オフラインとオンライン学習)の開発、及び課題5：多言語Machine Speech Chainフレームワークの改善、自己Lifelong学習（オンライン学習)の開発も始めた。インドネシアの大学とも連携し、インドネシアのデータの音声とテキストを収集した。合計で、4つの査読付きジャーナル、4つの査読付き国際会議論文、および 6つの招待講演を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R3年度と同じ、パートタイムの学生を何人か雇って、リソースの少ない言語の音声とテキストのデータを自分たちで収集して分析することを計画した。 しかし、COVIDの大流行のため、それを行うのは困難だった。 ただし、利用可能なデータを購入し、音声録音会社を通じてデータを収集することはできたし、多言語MachineSpeech Chainフレームワークに関してはいくつかの言語と感情のための機械音声チェーンを開発した。また、インドネシアの大学とも連携し、インドネシアのデータの音声とテキストを収集し、国際会議に論文を投稿した。 リアルタイム学習(オンライン学習)MachineSpeech Chainの研究に関連して、リアルタイムで動的に状況に適応できる機械の発話連鎖フレームワークを完成させることに成功した。 この作品は、トップ ジャーナル (IEEE Access および IEEE/ACM Transactions on Audio, Speech, and Language Processing) に掲載されていた。 自己Lifelong学習MachineSpeech Chainの研究に関連して、私たちはプロの通訳者と協力して彼らの生涯学習を分析することを始めた。研究代表者は、いくつかの国際ワークショップで基調講演を行うよう招待された。
|
| Strategy for Future Research Activity |
R5年度で以下の課題を構成して取り組む。
課題3：多言語Machine Speech Chainフレームワーク「話しながら聞いて多言語を学ぶ」（オフライン半教師あり学習）の開発に関しては、実験を継続する。特に、新しい教師なし機械Machine Speech Chainの可能性を調査する。
課題4：多言語Machine Speech Chainフレームワークの改善とリアルタイム学習(オフラインとオンライン学習)の開発に関しては、インクリメンタルMachine Speech Chainの実験を継続する。特にMachine Speech Chainの性能を改善し、さらにより多くの言語を調査する。
課題5：多言語Machine Speech Chainフレームワークの改善、自己Lifelong学習（オンライン学習)に関しては、実験を継続する。
|
