マルチモーダルデータからの対訳資源の抽出によるニューラル機械翻訳

2021 年度 研究成果報告書

• 研究課題/領域番号: 19K20343
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61030:知能情報学関連
• 研究機関: 京都大学 (2020-2021); 大阪大学 (2019)
• 研究代表者: チョ シンキ 京都大学, 情報学研究科, 特定准教授 (70784891)
• 研究期間 (年度): 2019-04-01 – 2022-03-31
• キーワード: 機械翻訳 / マルチモーダル

研究成果の概要

本プロジェクトでは、マルチモーダルニューラル機械翻訳（MNMT）について、主に以下の研究を行った：1). コンパラブル文を用いたMNMT。データセットを構築して第8回アジア翻訳ワークショップ（WAT 2021）でshared タスクを主催し、優勝した。2). セマンティック画像領域と単語領域アライメントを用いたMNMT。セマンティック画像領域と単語領域アライメントを用いたMNMTを研究し、NeurocomputingとTASLPという2つの著名な国際誌に論文を発表した。3). 映像付き機械翻訳。空間階層注意ネットワークを提案し、動詞と名詞両方の意味曖昧性解消が対応可能になった。

自由記述の分野

自然言語処理

研究成果の学術的意義や社会的意義

機械翻訳における自然言語の意味曖昧性解消を目的として、マルチモーダルニューラル機械翻訳(MNMT)が主に研究されている。本プロジェクトでは、低資源な設定でコンパラブル文を用いたMNMTという新しい仕組みを考案し、画像を用いたMNMTにおいてはセマンティック画像領域と単語領域アライメントを用いたMNMTを提案し、映像を用いたMNMTにおいては空間階層注意ネットワークを提案し、機械翻訳における視覚情報の利用の有効性を示した。開発したMNMTシステムは映画、ドラマ、アニメやニュースなどの字幕の自動翻訳の精度向上に貢献できるし、大阪万博などの国際的イベントでの自動翻訳ニューズにも応えられる。