2019 Fiscal Year Annual Research Report
Research for unsupervised acoustic pattern discovery with zero resources
| Project/Area Number |
17K00237
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
サクリアニ サクティ 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 音声認識 / ゼロ資源音声技術 / 脳波 / 音声翻訳 |
|---|
| Outline of Annual Research Achievements |
東京オリンピック・パラリンピックが近づくにつれ、海外からの観光客との言葉の壁はますます深刻な問題となっている。現在の音声認識・音声翻訳技術は、リソースが大きい言語についてはすでに容易に利用できるため、ここでは言語特有の知識も書き起こしデータもないようなゼロ資源の音声処理の問題を対象とする。2018 年度では、インドネシア言語のゼロリソースモデリングの構築に成功した。今回は、Dirichlet プロセスのガウス混合モデルを利用する代わりに、ディープラーニングに基づいてシステムを構築した。このシステムでは、（１）サブワード単位を発見すること、（２）音声を合成すること、および両方とも教師なしで行うことができた。また、2019年の世界ゼロ資源スピーチチャレンジに参加し、提案手法で上位結果を得ることができた。さらに、脳解析研究について、2018年度では、Speech-Imagination中のEEG振動とあからさまな相手の音声包絡線との間の同期を明らかにするための研究を行った。2019年では引き続き2020年のWorld Zero Resource Speech Challengeに参加し、システムのパフォーマンスを向上させることができた。また、テキストを書き起こさずに、未知の言語用の教師なし音声音声変換を作成し、IEEE自動音声認識および理解会議で公開した。また、すべての言語、すべての人々、すべての国の言語テクノロジーをサポートする世界言語言語コンソーシアムのため、ユネスコとの協力関係を構築した。このプロジェクトは、今後、2022年から2023年の10年間、国連国際先住民族言語年として継続される予定である。
|
-
[Journal Article] Machine Speech Chain2020
Author(s)
Andros Tjandra, Sakriani Sakti, Satoshi Nakamura
-
Journal Title
IEEE/ACM Transactions on Audio, Speech and Language Processing
Volume: Vol.28
Pages: 976-989
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
