2021 Fiscal Year Annual Research Report
A Study on Multi-modal Automatic Simultaneous Interpretation System and Evaluation Method
| Project/Area Number |
21H05054
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038)
松下 佳世 立教大学, 異文化コミュニケーション学部, 准教授 (90746679)
山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001)
須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152)
SAKTI Sakriani 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005)
高道 慎之介 東京大学, 大学院情報理工学系研究科, 助教 (90784330)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70897454)
|
|---|
| Project Period (FY) |
2021-07-05 – 2026-03-31
|
| Keywords | 音声翻訳 |
|---|
| Outline of Annual Research Achievements |
課題1-A)強調を含んだ原音声をend-to-endで対象言語に変換する方式を検討し有効性を示した．形容詞以外の品詞の強調やフォーカスの抽出および翻訳法に関する検討を開始した．音声とビデオの身体的話者性変換の統合システムの改良を実施した．任意の話者および言語にも対応可能な深層ネットワーク統合型音声変換法を提案し，その有効性を示した．任意のフォトリアルな発話表情合成を実現するため，Nerfに基づく従来の3次元顔モデルベースとは異なる，3次元モデルの仲介や長時間レンダリングを必要としない輝度場の機械学習に基づくスーパーフォトリアル顔画像合成法に着手した．B)分野やキーワード等の情報を明に与える形での事前適応について方式調査を行った．マルチモーダル事前学習モデルを用いた予備検討を行い，本タスクに最適化する際の学習効率が課題であることが明らかになった．C)漸進的音声合成の品質と遅延の改善を優先的に実施した．大きく語順の異なる同時音声翻訳に対応するため，構文情報を利用する方法，プレフィクスを利用する方法を提案し有効性を確認した．
課題2-A)遠隔同時通訳において導入されている既存の通訳者支援システムを特定し分析した．B)現在使われている通訳品質評価法について，先行研究の検証や関連機関へのヒアリングを行い，主観評価ではなく客観的に測定可能なデータに基づく通訳品質評価法の確立に向けた作業に着手した．翻訳評価で用いられる枠組みであるMQMを用いた小規模な同時通訳評価アノテーションを実施した．C)同時通訳中における文単位のASSR反応による認知負荷の測定，認知負荷指数の関係の解析を実施した．
課題3-A)原発話・通訳発話のアラインメントツールプロトタイプを構築し評価アノテーションに活用した．C)モジュールの再構築による統合システムの更新を行いIWSLT 2022の同時翻訳共通タスクに参加した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２０２２年度は，旧基盤Sプロジェクトから新基盤Sプロジェクトが重複し，移行を行う必要があったため多少の混乱が生じたが，旧基盤Ｓプロジェクトにおける成果を統合した音声同時通訳システムの性能と遅延評価を行い，それらを改良して，国際会議のshared taskに参加することが出来た．課題１，２，３についても，これまでの研究をさらに改良するための研究に加えて，パラ言語，事前情報の利用による同時音声通訳の研究，さらに，通訳者，通訳研究者と共に同時通訳の評価法の研究を開始した．
|
| Strategy for Future Research Activity |
課題1-A)種々の品詞に強調，フォーカスを有する原音声をend-to-endで対象言語に変換する方式についてさらに研究を進める．音声とビデオの身体的話者性変換の統合システムの改良を継続する．任意の話者および言語にも対応可能な深層ネットワーク統合型音声変換法，発話表情合成のモデルの研究をさらに進める．B)分野やキーワード等の情報を明に与える形での事前適応について，事前情報のアノテーションの実施，マルチモーダル事前学習モデルを用いた検討を進める．C)漸進的音声合成の品質と遅延の改善を進める．遅延圧縮のため合成音声の要約などについても研究を進める．
課題2-A)遠隔同時通訳において導入されている既存の通訳者支援システムのデータから通訳方略の分析を続ける．B)客観的に測定可能なデータに基づく通訳品質評価法の確立に向けた検討を進める．翻訳評価で用いられる枠組みであるMQMを用いた同時通訳評価アノテーションを実施する．C)同時通訳中におけるチャンク単位のASSR反応による認知負荷の測定，認知負荷指数の関係の解析を実施する．
課題3-A)原発話・通訳発話のアラインメントツールプロトタイプを構築しアライメントコーパスを構築する． C)モジュールの再構築による統合システムの改良を続ける．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Simultaneous Speech-to-speech Translation System with Transformer-based Incremental ASR, MT, and TTS2021
Author(s)
Ryo Fukuda, Sashi Novitasari, Yui Oka, Yasumasa Kano, Yuki Yano, Yuka Ko, Hirotaka Tokuyama, Kosuke Doi, Tomoya Yanagita, Sakriani Sakti, Katsuhito Sudoh, Satoshi Nakamura
Organizer
Proc. Oriental COCOSDA, 2021
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Recent Advances in Speech Translation2021
Author(s)
Satoshi Nakamura, with Katsuhito Sudo, Sakriani Sakti, Ryo Fukuda, Sashi Novitasari, Tomoya Yanagita, Kosuke Doi, Yasumasa Kano, Yuki Yano, Hirotaka Tokuyama, Yui Oka
Organizer
AI Innovation Summit 2021
Int'l Joint Research / Invited
-
-
-
-
