研究課題
2020年東京オリンピック・パラリンピックが近づくにつれ、海外からの観光客との言葉の壁はますます深刻な問題となっている。現在の音声認識・音声翻訳技術は、リソースが大きい言語についてはすでに容易に利用できるため、ここでは言語特有の知識も書き起こしデータもないようなゼロ資源の音声処理の問題を対象とする。2017 年度では、当初計画にあったアフリカ言語（ツォンガ語）のゼロリソースモデリングの構築に成功した。さらに、2017年のゼロリソースの音声チャレンジに成功することができた。インドネシアの大学との連携もまだ進行中であるが、研究成果は得られていなかった。2018 年度では、インドネシア言語のゼロリソースモデリングの構築に成功した。今回は、Dirichlet プロセスのガウス混合モデルを利用する代わりに、ディープラーニングに基づいてシステムを構築した。このシステムでは、（１）サブワード単位を発見すること、（２）音声を合成すること、および両方とも教師なしで行うことができた。また、2019年の世界ゼロ資源スピーチチャレンジに参加し、提案手法で上位結果を得ることができた。さらに、脳解析研究について、2017 年度では、脳波検査を用いて文章を判別する実験を行った。2018年度では、Speech-Imagination中のEEG振動とあからさまな相手の音声包絡線との間の同期を明らかにするための研究を行った。具体的には、（1）Speech-Imagination中のEEGベースの回帰音声エンベロープが顕在音声エンベロープと相関するかどうか、および（2）Imagined-EEGが参加した異なるエンベロープで音声刺激を分類できるかどうかを調べた。これらの結果は、Speech-Imagination中のＥＥＧと明白な対応物のエンベロープとの間の同期を示している。
2: おおむね順調に進展している
今年は、2017年には不可能だったインドネシア語のゼロリソースモデリングの構築に成功した。さらに、2019年のゼロリソースボイスチャレンジで最高のパフォーマンスを達成することができた。インドネシアの大学との協力は継続中である。また、他のアジアの研究機関との共同研究も始めている。Speech-ImaginationのEEG分析も行っている。現在のところまだ研究結果は得られていないが、インドネシア語でもEEG実験を開始した。
次の研究活動を2019年に継続する。(1)ゼロリソースモデリングとEEG実験の継続。(2)提案枠組みの完成：低資源言語（インドネシア語／ツォンガ語）から主要言語（日本語／英語）への音声翻訳が可能な本格的なシステムの構築を目指す。
すべて 2019 2018 その他
すべて 国際共同研究 (1件) 雑誌論文 (6件) (うち国際共著 6件、 査読あり 6件、 オープンアクセス 6件) 学会発表 (25件) (うち国際学会 15件)
IEICE Transactions on Information and Systems
巻: Volume E102.D, issue 2 ページ: 383-391
10.1587/transinf.2018EDP7293
Frontiers in Computational Neuroscience
巻: 13
10.3389/fncom.2019.00015
PloS One
巻: 13 ページ: pp. 1-13
10.1371/journal.pone.0193521
Transactions on Information and Systems, Institute of Electronics, Information and Communication Engineers (IEICE)
巻: E101-D ページ: pp. 2092-2100
10.1587/transinf.2017EDP7362
IEEE/ACM Transactions on Audio, Speech, and Language Processing
巻: 26 ページ: pp. 1873 - 1883
10.1109/TASLP.2018.2846402
巻: 26 ページ: pp. 2027 - 2042
10.1109/TASLP.2018.2852500
