| 研究課題/領域番号 |
21K12031
|
|---|
| 研究機関 | 愛媛大学 |
|---|
研究代表者 |
二宮 崇 愛媛大学, 理工学研究科(工学系), 教授 (20444094)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 機械翻訳 / 深層ベイズ学習 / トランスフォーマー / 潜在変数モデル |
|---|
| 研究実績の概要 |
令和3年度は研究の目的および研究実施計画に基づき、潜在変数付きトランスフォーマー機械翻訳の開発と実験を行った。
潜在変数の学習とトランスフォーマーによる機械翻訳の学習を同時に行うことを目的としており、令和3年度には、変分推論を用いたトランスフォーマーのための潜在変数モデル(T-CVAE)の開発と実験を行った。T-CVAEはトランスフォーマーに基づく変分オートエンコーダ(VAE)を条件付きモデルに拡張した系列変換モデル(Wang & Wan, 2019)であり、本研究ではこのモデルを実装し、機械翻訳に応用することを行った。T-CVAEでは、変分推論に基づき、機械翻訳の負対数尤度に加えて、潜在変数の事前分布と事後分布のKLダイバージェンスを最小化することで、潜在変数付き系列変換モデルの学習が行われる。潜在変数の事前分布はトランスフォーマー・エンコーダの出力を多層パーセプトロンに通すことで得られ、潜在変数の事後分布はトランスフォーマー・デコーダの出力を全結合層に通すことで得られる。従来のT-CVAEはストーリー補完のタスクに用いられていたが、本研究ではこのモデルを機械翻訳に応用した。得られた潜在変数をデコーダに入力することで翻訳精度の改善が期待される。
本研究では、日英対訳コーパスASPECを用いて英日機械翻訳の実験を行った。翻訳精度のBLEUを用いて評価を行い、トランスフォーマーのBLEUは30.21%であったが、T-CVAEによるBLEUは29.06%であった。残念ながら潜在変数を導入することで翻訳精度は逆に下がってしまったが、ハイパーパラメータの調整を行うことや、非自己回帰型モデルで用いられている手法を導入することで精度の改善が期待でき、来年度以降の研究課題としたい。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究目的と研究実施計画に従って予定通り研究を進めることが出来た。実験では、期待されるような性能向上が得られなかったが、ハイパーパラメータの調整や、非自己回帰型モデルで用いられている手法を導入することにより、性能の改善が期待される。
|
| 今後の研究の推進方策 |
令和3年度に行ったT-CVAEの改良を継続して行い、研究目的と研究実施計画に従って、状況・文脈を考慮した潜在変数を扱う機械翻訳モデルの研究を行う。文レベルの潜在変数を扱うT-CVAEモデルおよびFlowSeqモデルの考案および開発を行い、文章として連続している対訳コーパスを用いて実験を行う。
|
| 次年度使用額が生じた理由 |
実験で用いるGPUを購入する予定であったが、想定よりも大規模な実験を行う必要があることが判明したため、次年度の助成金と合わせてより性能の高いGPUを購入する。
|
