A Study on Context-aware Latent Variable Models for Neural Machine Translation

• Project/Area Number: 21K12031
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Ehime University
• Principal Investigator: 二宮 崇 愛媛大学, 理工学研究科(工学系), 教授 (20444094)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Completed (Fiscal Year 2024)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 機械翻訳 / 深層ベイズ学習 / トランスフォーマー / 潜在変数モデル / フローベース生成モデル / フローベースモデル

Outline of Research at the Start

近年、複数文をまとめて入力することで文脈を考慮するニューラル機械翻訳の研究が盛んに行われているが、状況・文脈を表す抽象的な特徴を学習する機械翻訳技術が十分には確立されていないという問題がある。本研究は、これらの問題を解決するために、状況・文脈を表す潜在変数を有するフローベーストランスフォーマーモデルの研究を行う。フローベース深層生成モデルは可逆関数で表される確率的生成モデルであり、逆関数を用いることで潜在変数が直接得られることから、潜在変数の学習モデルとして期待されている。本研究は、変分推定を基礎として、フローベース深層生成モデルを文レベル潜在変数とする機械翻訳モデルの実現を目指す。

Outline of Annual Research Achievements

令和6年度は、潜在変数を用いたコンテキストアウェアな機械翻訳の学習を目的として、T-CVAEとフローベース生成モデルに基づく機械翻訳の研究を行った。T-CVAEはトランスフォーマーに基づく変分オートエンコーダ(VAE)を条件付きモデルに拡張した系列変換モデル(Wang & Wan, 2019)である。本研究ではこのモデルにフローベース生成モデルを組み込む手法の開発を行い、機械翻訳に応用することを行った。T-CVAEでは、変分推論に基づき、機械翻訳の負対数尤度に加えて、潜在変数の事前分布と事後分布のKLダイバージェンスを最小化することで、潜在変数付き系列変換モデルの学習が行われる。フローベース生成モデルは単純な確率分布(潜在変数)を繰り返し変換することで複雑な確率分布を生成/推定する手法である。本研究では、T-CVAEにフローベース生成モデルを組み込むモデルの開発を行い、機械翻訳タスクにおける性能評価の実験を行った。
今年度は関連する研究として、目的言語文の難易度を多段階で制御する日英機械翻訳の研究も行った。本研究では、まず多段階の難易度で書かれた英語ニュース記事集合であるNewselaコーパスと日本語への人手翻訳によって日英多段階難易度制御機械翻訳のための評価データセットを構築した。さらに、学習対象の参照文と共に異なる難易度の参照文も用いた学習手法の開発を行った。本研究で構築した評価データセットを用いた実験により、提案手法は従来手法のマルチタスクモデルよりBLEUが0.94ポイント上回ることを確認した。

Research Products

• [Journal Article] 日英多段階難易度制御機械翻訳：評価データの作成および複数参照文に基づく学習の提案 (2024)
  • Author(s): 谷 和樹, 田村 晃裕, 梶原 智之, 二宮 崇, 加藤 恒夫
  • Journal Title: 自然言語処理 Volume: 31 Pages: 456～478
  • DOI: 10.5715/jnlp.31.456
  • Peer Reviewed / Open Access
• [Journal Article] Multimodal Neural Machine Translation Using Synthetic Images Transformed by Latent Diffusion Model (2023)
  • Author(s): Yuasa Ryoya、Tamura Akihiro、Kajiwara Tomoyuki、Ninomiya Takashi、Kato Tsuneo
  • Journal Title: Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop) Volume: - Pages: 76-82
  • DOI: 10.18653/v1/2023.acl-srw.12
  • Peer Reviewed / Open Access
• [Journal Article] Hie-BART：階層型BARTによる生成型要約 (2022)
  • Author(s): 秋山 和輝, 田村 晃裕, 二宮 崇, 梶原 智之
  • Journal Title: 自然言語処理 Volume: 29 Pages: 835-853
  • DOI: 10.5715/jnlp.29.835
  • Peer Reviewed / Open Access
• [Presentation] バイリンガルサブワード分割のためのEMアルゴリズム (2023)
  • Author(s): 松井 大樹, 二宮 崇, 田村 晃裕
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 潜在拡散モデルによる変換画像を用いるマルチモーダルニューラル機械翻訳 (2023)
  • Author(s): 湯浅 亮也, 田村 晃裕, 梶原 智之, 二宮 崇, 加藤 恒夫
  • Organizer: 言語処理学会 第29回年次大会