2022 Fiscal Year Annual Research Report
A Study on Multi-modal Automatic Simultaneous Interpretation System and Evaluation Method
| Project/Area Number |
21H05054
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
SAKTI Sakriani 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00395005)
松下 佳世 立教大学, 異文化コミュニケーション学部, 教授 (90746679)
山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001) [Withdrawn]
高道 慎之介 東京大学, 大学院情報理工学系研究科, 講師 (90784330)
渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038)
須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員助教 (70897454)
|
|---|
| Project Period (FY) |
2021-07-05 – 2026-03-31
|
| Keywords | 音声翻訳 |
|---|
| Outline of Annual Research Achievements |
【課題１】多元同時通訳方式：A)パラ言語音声翻訳およびビデオ・事前・外部知識の利用による多元同時通訳，通訳出力最適化，漸進的音声通訳方式高度化については，言語におけるフォーカス（焦点）に注目し，フォーカスがパラ言語情報である韻律，文法，語彙であらわされ得ること，それらがどの程度相互等価性があるか，音声翻訳のためにはどのように利用するべきかについて検討を行った．また，身体的話者性変換のシステム統合，韻律同期に取り組んだ．B)ビデオ，事前，外部知識の利用については，映画字幕の翻訳を対象に話者やジャンルの情報を利用した翻訳の研究を試みた．C)通訳出力最適化については，Local Agreement法による高度な同時通訳方略の研究および，漸進的音声合成の改良を進めた．
【課題２】通訳品質の評価法とリアルタイム評価技術については，A)通訳プロセス分析に関し，種々の通訳方略モデルを利用した評価指標についての研究を進めた．B)通訳者，通訳システムにおける共通の通訳品質の評価法については，翻訳評価に用いられるMQMを通訳者に評価してもらうことにより，より通訳に適した評価法の検討を進めた．C)脳活動を含むセンシングによる通訳品質客観的自動評価法の確立については，同時通訳中における任意の文やフレーズにおける位相振幅カップリング（PAC）による認知負荷の測定の可能性の基礎検討を行った．
【課題３】コーパス構築とシステムとしては，A)通訳時間アライメント・品質アノテーション作業の基準設計については，自動アライメントの検討を進めた．C)モジュール統合については，IWSLTの評価タスクに参加し同時通訳システムプロトタイプの構築を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
パラ言語情報とくにフォーカスに関する基礎研究の進捗、IWSLT評価タスクを目指した同時通訳システム試作とそれに伴う各モジュールの研究開発が順調に進んでいる。評価についても、通訳者、同時通訳システムにおいて、何を評価すべきかに関する知見が蓄積できてきている。
|
| Strategy for Future Research Activity |
さらに、IWSLTの評価タスクに参加継続し、システムの高速化、性能改善を進めるとともに、あらたなモデルの研究、パラ言語の通訳、通訳の品質評価法などの研究を推進する。
|
Research Products
(56 results)
