2018 Fiscal Year Research-status Report
| Project/Area Number |
17K00237
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
サクリアニ サクティ 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 音声認識 / ゼロ資源音声技術 / 脳波 |
|---|
| Outline of Annual Research Achievements |
2020年東京オリンピック・パラリンピックが近づくにつれ、海外からの観光客との言葉の壁はますます深刻な問題となっている。現在の音声認識・音声翻訳技術は、リソースが大きい言語についてはすでに容易に利用できるため、ここでは言語特有の知識も書き起こしデータもないようなゼロ資源の音声処理の問題を対象とする。2017 年度では、当初計画にあったアフリカ言語（ツォンガ語）のゼロリソースモデリングの構築に成功した。さらに、2017年のゼロリソースの音声チャレンジに成功することができた。インドネシアの大学との連携もまだ進行中であるが、研究成果は得られていなかった。2018 年度では、インドネシア言語のゼロリソースモデリングの構築に成功した。今回は、Dirichlet プロセスのガウス混合モデルを利用する代わりに、ディープラーニングに基づいてシステムを構築した。このシステムでは、（１）サブワード単位を発見すること、（２）音声を合成すること、および両方とも教師なしで行うことができた。また、2019年の世界ゼロ資源スピーチチャレンジに参加し、提案手法で上位結果を得ることができた。さらに、脳解析研究について、2017 年度では、脳波検査を用いて文章を判別する実験を行った。2018年度では、Speech-Imagination中のEEG振動とあからさまな相手の音声包絡線との間の同期を明らかにするための研究を行った。具体的には、（1）Speech-Imagination中のEEGベースの回帰音声エンベロープが顕在音声エンベロープと相関するかどうか、および（2）Imagined-EEGが参加した異なるエンベロープで音声刺激を分類できるかどうかを調べた。これらの結果は、Speech-Imagination中のＥＥＧと明白な対応物のエンベロープとの間の同期を示している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年は、2017年には不可能だったインドネシア語のゼロリソースモデリングの構築に成功した。さらに、2019年のゼロリソースボイスチャレンジで最高のパフォーマンスを達成することができた。インドネシアの大学との協力は継続中である。また、他のアジアの研究機関との共同研究も始めている。Speech-ImaginationのEEG分析も行っている。現在のところまだ研究結果は得られていないが、インドネシア語でもEEG実験を開始した。
|
| Strategy for Future Research Activity |
次の研究活動を2019年に継続する。
(1)ゼロリソースモデリングとEEG実験の継続。
(2)提案枠組みの完成：低資源言語（インドネシア語／ツォンガ語）から主要言語（日本語／英語）への音声翻訳が可能な本格的なシステムの構築を目指す。
|
