• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

マルチモーダル品質推定に基づく機械翻訳モデルの高度化

Research Project

Project/Area Number 19K21533
Allocation TypeMulti-year Fund
Research InstitutionOsaka University

Principal Investigator

梶原 智之  大阪大学, データビリティフロンティア機構, 特任助教(常勤) (70824960)

Project Period (FY) 2019-04-01 – 2020-03-31
Keywords機械翻訳 / マルチモーダル
Outline of Annual Research Achievements

2020年の東京五輪に向けて、機械翻訳の精度向上が急務である。日英や日中の翻訳精度は改善されてきたものの、翻訳器の訓練に必要な100万文対を超える対訳データをあらゆる言語対で用意することは困難である。本研究では、大規模な対訳データを利用できない設定での機械翻訳の性能を改善するために、人手で作成された正解文の表現に依存しない方法でマルチモーダル機械翻訳を訓練する。
まず昨年度に引き続き、文対の符号化器に基づく機械翻訳の自動評価を行った。語句のマッチングを行う従来の自動評価とは異なり、翻訳文および正解文のベクトル表現を用いる提案手法では、正解文の表現に対する依存を減らしつつ人手評価との相関を高めることができた。この成果は、言語処理学会の論文誌「自然言語処理」にて発表した。
画像を用いるマルチモーダル機械翻訳については、等間隔に分割された画像を用いる従来手法とは異なり、意味的な単位である画像領域を用いる手法を提案した。各画像領域への注意機構の導入により、英語からドイツ語および英語からフランス語のマルチモーダル機械翻訳の性能を改善した。この成果は、機械翻訳に関する国際会議EAMTにて発表した。
通常、マルチモーダル機械翻訳の訓練においては、翻訳文と正解文を単語単位で比較しながらのフィードバックが行われる。今後は、我々の2つの研究成果を統合し、画像領域に基づくマルチモーダル機械翻訳をベクトル表現に基づく文単位の自動評価によって訓練する。

  • Research Products

    (2 results)

All 2020 2019

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] 事前学習された文の分散表現を用いた機械翻訳の自動評価2019

    • Author(s)
      嶋中宏希, 梶原智之, 小町守
    • Journal Title

      自然言語処理

      Volume: 26 Pages: 613~634

    • DOI

      https://doi.org/10.5715/jnlp.26.613

    • Peer Reviewed / Open Access
  • [Presentation] Double Attention-based Multimodal Neural Machine Translation with Semantic Image Regions2020

    • Author(s)
      Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
    • Organizer
      Proceedings of the 22nd Annual Conference of the European Association for Machine Translation (EAMT 2020)
    • Int'l Joint Research

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi