| 研究課題/領域番号 |
18J22864
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
稲熊 寛文 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2018-04-25 – 2021-03-31
|
| キーワード | ストリーミングend-to-end音声認識 / end-to-end音声翻訳 |
|---|
| 研究実績の概要 |
これまで，発話が終了してから認識を開始するオフライン認識において，入力音声からテキストを直接出力するend-to-end音声認識モデルは従来のハイブリッドシステムと同等またはそれ以上の精度を達成してきた．一方，発話終了前に認識を開始し入力音声を逐次認識するオンラインタスクにおいては，end-to-endモデルによりオフラインの場合に比べて遜色ない精度が達成されているものの，推論時にユーザが認知するレイテンシが非常に大きくなるという問題があった．これはend-to-endモデルの学習方法に起因するものである．そこで，認識精度を保ちつつレイテンシを削減するため，フレームレベルのアライメント情報を教師ラベルとして使用する手法を考案した．実験により，認識精度およびレイテンシが同時に改善されることを確認し，最小のレイテンシでオフラインモデルと遜色ない精度を達成した．その研究成果は音声処理のトップカンファレンスであるIEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2020)に口頭発表で採録された．
また，音声翻訳タスクにおいても，従来の音声認識と機械翻訳との組み合わせによるレイテンシの増加やエラーの伝搬などの問題を解決するため，end-to-endモデルが近年注目を集めているが，学習データが音声認識や機械翻訳タスクと比べて少ないという問題があった．これを解決するため，多言語対の音声データを利用し，翻訳精度が改善できることを実験的に示した．その成果はIEEE ASRU 2019に採録された．また，音声翻訳ツールキットのオープンソース化にも取り組み，その成果は自然言語処理のトップカンファレンスであるACL2020のSystem Demonstrationトラックに採録された．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初の研究計画を大きく上回る成果をあげることができた．2019年7月から10月にかけて米国Microsoft Researchの夏季インターンシップんに参加し，様々な技術や研究方法を学んだ．日本に帰国後も，京都大学の講義音声認識に使用するストリーミング認識システムの開発に取り組み，実際にシステムに組み込めるレベルの認識精度を達成している．また，2019年11月に日本人で唯一Microsoft Research Asia Fellowship Award 2019を受賞した．
|
| 今後の研究の推進方策 |
ストリーミングend-to-end音声認識モデルへの談話コンテキストの統合を行う．ストリーミング認識が想定される講義や対話などにおいては，話の文脈やトピックや話者情報などのコンテキストにより認識精度が改善されることが示されてきた．しかし，これらはオフラインモデルに適用されており，ストリーミングend-to-end音声認識モデルへの適用方法は未だ確立されていない．また，談話コンテキストを使用することで，認識精度が改善されるだけでなく，一貫した認識結果が獲得できると期待される．
さらに，従来の同時音声翻訳における音声認識と機械翻訳モデル間のレイテンシを改善するため，ストリーミングend-to-end音声翻訳の研究に取り組む．これまで研究してきたストリーミングend-to-end音声認識モデルを拡張し，end-to-end音声認識とend-to-end音声翻訳を統合的な枠組みでモデル化することで，複数の言語でストリーミング認識・翻訳できる方法の確立を目指す．
|
