| Project/Area Number |
21K12031
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Ehime University |
|---|
Principal Investigator |
二宮 崇 愛媛大学, 理工学研究科(工学系), 教授 (20444094)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 機械翻訳 / 深層ベイズ学習 / トランスフォーマー / 潜在変数モデル / フローベースモデル |
|---|
| Outline of Research at the Start |
近年、複数文をまとめて入力することで文脈を考慮するニューラル機械翻訳の研究が盛んに行われているが、状況・文脈を表す抽象的な特徴を学習する機械翻訳技術が十分には確立されていないという問題がある。本研究は、これらの問題を解決するために、状況・文脈を表す潜在変数を有するフローベーストランスフォーマーモデルの研究を行う。フローベース深層生成モデルは可逆関数で表される確率的生成モデルであり、逆関数を用いることで潜在変数が直接得られることから、潜在変数の学習モデルとして期待されている。本研究は、変分推定を基礎として、フローベース深層生成モデルを文レベル潜在変数とする機械翻訳モデルの実現を目指す。
|
| Outline of Annual Research Achievements |
令和5年度は、潜在変数を用いたコンテキストアウェアな機械翻訳の学習を目的として、1) 潜在拡散モデルを用いたマルチモーダル機械翻訳の研究、2) T-CVAEに基づく機械翻訳の研究を行った。
1)について、潜在拡散モデルを用いることで、マルチモーダル機械翻訳に不要な画像情報を除去する画像変換を行う手法を提案した。Multi30kを用いた実験の結果、BLEU値が41.06%から41.20%まで向上することが確認できた。この研究成果は the 61st Annual Meeting of the Association for Computational Linguistics Student Research Workshopにおいて発表した。
2)について、変分推論を用いたトランスフォーマーのための潜在変数モデル(T-CVAE)の開発と実験を行った。T-CVAEはトランスフォーマーに基づく変分オートエンコーダ(VAE)を条件付きモデルに拡張した系列変換モデル(Wang & Wan, 2019)であり、本研究ではこのモデルを実装し、機械翻訳に応用することを行った。T-CVAEでは、変分推論に基づき、機械翻訳の負対数尤度に加えて、潜在変数の事前分布と事後分布のKLダイバージェンスを最小化することで、潜在変数付き系列変換モデルの学習が行われる。潜在変数により多様な表現の機械翻訳が実現されることが期待される。日英対訳コーパスASPECを用いて英日機械翻訳の実験を行ったところ、トランスフォーマーと比べて翻訳精度は同程度であったものの、多様性評価では非常に高い多様性が得られることが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究目的と研究実施計画に従って予定通り研究を進めることが出来た。潜在変数モデルにより、機械翻訳出力に対し高い多様性が得られることが確認できた。ただし、標準的に用いられる規模の対訳データに対する提案手法の精緻な評価ができていない。
|
| Strategy for Future Research Activity |
標準的に用いられる規模の対訳データに対して評価ができていないため、来年度はこれらの実験を行い、提案手法の精緻な評価を行う。また、今までの研究成果をまとめ、国際会議またはジャーナルに論文を投稿する。
|
