2018 Fiscal Year Annual Research Report
Next generation speech translation research
| Project/Area Number |
17H06101
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
高道 慎之介 東京大学, 大学院情報理工学系研究科, 助教 (90784330)
松本 裕治 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10211575)
須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152)
サクリアニ サクティ 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005)
吉野 幸一郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70760148)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
|
|---|
| Project Period (FY) |
2017-05-31 – 2022-03-31
|
| Keywords | 音声翻訳 |
|---|
| Outline of Annual Research Achievements |
①A)音源教師有り手法である独立深層学習行列分析を新たに提案しその有効性を確認。生成モデルにスパース性を付与することで有意に雑音抑圧性能を改善可能と提示。B)常時音声認識を様々なドメインに適応すべく単語単位のEnd-to-Endモデルの適応法を研究。注意機構モデルを前向きだけでなく後向きに適用し組合せる方式を提案。C)一定時間待機型の逐次ニューラル機械翻訳の分析、英日翻訳では語順の違いが大きく影響することを確認。リアルタイム機械通訳システム構築に向けHMMベースのインクリメンタル音声合成手法を提案。スピーチチェーンに音声認識を統合。コードスイッチング検討。D)多言語機械翻訳のデータ欠落を補う手法を提案し翻訳精度を向上。訳語選択の柔軟性を向上させるニューラル機械翻訳方式を提案し小語彙条件下で性能向上。E)対話翻訳用にDialog State Tracking Challenge 2を用いた日英データセットとニューラルネットワークを用いたベースライントラッカーを構築。
②A)音声とテキストの強調による人の知覚を主観評価で分析。音声、テキスト、動画等マルチモーダルコーパスの収集。深層学習によるマルチモーダル・マルチタスク認識の検討。B)深層学習に基づく音声特徴量変換処理と音声波形生成処理を組合せ声質変換性能の大幅な改善に成功。
③撮影環境、顔向きを限定されないポートレート1枚から被写体の人物の顔の3次元形状、アルベドテクスチャ、ディスプレースメントマップ、スペキュラーBRDFを深層学習で精度よく推定する技術を開発。
④違和感検出モデルの改良。意味違反のみならず統語違反の自動検出。多層パーセプロトロンにより6割程度での性能を達成。同時通訳時の通訳者の脳活動測定を実施。
⑤同時通訳コーパス約124時間分（TED等）＋約5時間分（日本記者クラブ）を構築。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
いずれの研究項目においても、計画に遅れを取らないよう研究を進めている。
特に2018年度は、同時通訳音声コーパスの構築に注力した。
|
| Strategy for Future Research Activity |
①スパース性付与型独立低ランク行列分析と独立深層学習行列分析に基づき、音声認識システムとの統合を進め、雑音下常時音声認識システムの構築を行う。ダイレクト音声翻訳、リアルタイム機械通訳システム、マルチモーダルチェーンの構築を継続する。英日間の機械翻訳に適した同時機械翻訳方式の検討を行い、構築中の同時通訳コーパスを用いた性能検証を実施する。同時通訳データのデータ拡張手法について検討する。損失関数の工夫によるニューラル機械翻訳の頑健性向上に取り組む。対話翻訳のベースラインシステムを構築し、既存の枠組みで解決可能な現象と難しい現象の切り分けを行う。対話翻訳データセットの他機関研究者向けリリースを行う。
②マルチ特性翻訳および感情翻訳の研究を継続して行う。深層波形生成モデルを用いた声質変換システムの高精度化に取り組むとともに、音声翻訳システムへの導入を目指し、同一言語発話対を必要としない非パラレル声質変換処理への拡張に取り組む。
③頭部のみならず、キャラクタの印象を強く左右する全身像の3次元復元にも今後取り組んでいく。
④違和感検出の時系列を考慮したモデルの構築と、実刺激での検出を取り組む。また同時通訳の実験データを解析し、同時通訳中の認知負荷を定量化することを目指す。
⑤ 同時通訳コーパス構築を継続する。他分野化に着目する。同時機械翻訳のプロトタイプシステムを作成する。
|
