2023 Fiscal Year Annual Research Report
A Study on Multi-modal Automatic Simultaneous Interpretation System and Evaluation Method
| Project/Area Number |
21H05054
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
SAKTI Sakriani 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00395005)
松下 佳世 立教大学, 異文化コミュニケーション学部, 教授 (90746679)
山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001) [Withdrawn]
高道 慎之介 東京大学, 大学院情報理工学系研究科, 講師 (90784330)
渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038)
須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員助教 (70897454)
|
|---|
| Project Period (FY) |
2021-07-05 – 2026-03-31
|
| Keywords | 音声翻訳 |
|---|
| Outline of Annual Research Achievements |
【課題１】多元同時通訳方式：A)「強調」に関しては，フォーカスに関して，音声の韻律と言語表現の最適組み合わせ出力に取り組んだ．パラ言語情報制御機能を備えた音声変換・合成技術に関する基礎検討を行った．また，豊かな音声表情翻訳手法については発話者の韻律同期もしくは感情表出時の顔動画の個性表現に関して検討を進め，動画生成時のキーフレーム補間時のアイデンティティ同期の方法について検討を進めた．B)字幕翻訳を例に，分野やキャラクタ等の情報を明確に与える形での事前適応を試みた．C) 通訳出力最適化については，Local Agreement法とAlignAtt法による通訳方略の検討および音声合成の言語処理部の逐次動作化を進めた．
【課題２】通訳品質の評価法とリアルタイム評価技術に関しては，A)「順送り」や「省略」などの分析をさらに進めた．また進的翻訳技術との連携により応用技術に落とし込み，通訳者の補助として有用な技術の切り出しの検討も進めた．B)通訳者が重視する観点の考慮，順送り訳の度合いの考慮などを含んだ自動通訳品質評価指標の検討を進めた．C)EEGを用いた認知負荷の高い構文の解析，文中の語順の異なる位置と認知負荷の関係，認知負荷を位相振幅カップリング（PAC）で分析する研究が進んだ．
【課題３】コーパス構築とシステムとしては，A)自動アライメントによる通訳対訳コーパスの増強と同時通訳システムへの活用，また，通訳品質評価への応用について検討した．B)多元パラ言語アノテーション付きコーパス50時間，事前情報50時間については方針の検討を行った．C)モジュールの統合，評価を行い，エコシステムの設計，実装については引き続きIWSLTの評価タスクに参加してシステムの性能改善を進める。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
IWSLT評価タスクを目指した同時通訳システム試作とそれに伴う各モジュールの研究開発が順調に進んでいる。2022年度は、漸進的な音声認識、機械翻訳、音声合成を接続してシステムを構築したが、2023年度は多言語の事前学習モデル（音声モデル、翻訳モデル）をベースに改良を行い、入力言語の音声から直接対象言語のテキストへ変換し、それを逐次音声合成するシステムを構築した。評価についても、通訳者、同時通訳システムにおいて適用可能な自動評価システムができつつある。
|
| Strategy for Future Research Activity |
IWSLTの評価タスクに参加継続し、システムの高速化、性能改善を進めるとともに、研究用プロトタイプをさらに発展させて、実証実験可能なシステムを構築する。同時に、フォーカス、声質、発話表情を中心としたマルチモーダル翻訳システムと通訳の自動品質評価法を確立する。
|
