Machine Translation based on Multimodal Quality Estimation

2019 Fiscal Year Final Research Report

• Project/Area Number: 19K21533
• Project/Area Number (Other): 18H06465 (2018)
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund (2019); Single-year Grants (2018)
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Osaka University
• Principal Investigator: Kajiwara Tomoyuki 大阪大学, データビリティフロンティア機構, 特任助教(常勤) (70824960)
• Project Period (FY): 2018-08-24 – 2020-03-31
• Keywords: 機械翻訳 / マルチモーダル

Outline of Final Research Achievements

Improving machine translation performance is an urgent task for the Tokyo Olympics. In this research, we worked on automatic evaluation of machine translation and multimodal machine translation.
In machine translation training, translated sentences that differ superficially from reference sentences are penalized even if they are semantically correct. Therefore, we proposed an automatic evaluation method using vector representation of sentences, and achieved high correlation with human evaluation while reducing the dependence on reference sentences.
In conventional multimodal machine translation, images are divided into uniform sizes, which makes matching with text difficult. Therefore, we proposed a multimodal machine translation method using images divided into semantic units and improved the translation quality.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

東京五輪や大阪万博に向けて、機械翻訳の精度向上が急務である。機械翻訳モデルの効率的な改善のために、人手評価との高い相関を持つ自動評価手法の開発が重要である。本研究では、単語やフレーズの一致といった局所的な情報に頼っていた自動評価を改善し、文全体の大域的な情報をもとに人手評価との高い相関を持つ自動評価手法を構築した。機械翻訳に関する国際会議WMT-2018において開催された自動評価手法の性能を競うコンペティションにおいては、ドイツ語から英語や中国語から英語などの全7言語対において、我々の提案手法が世界最高性能を達成した。