| 研究課題/領域番号 |
20K19861
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 愛媛大学 |
|---|
研究代表者 |
梶原 智之 愛媛大学, 理工学研究科(工学系), 助教 (70824960)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
|
|---|
| キーワード | 機械翻訳 / 品質推定 / 強化学習 / 自然言語処理 / 知能情報学 |
|---|
| 研究開始時の研究の概要 |
東京五輪や大阪万博に向けて、機械翻訳の精度向上が急務である。従来の機械翻訳の訓練では、モデルが出力した翻訳文を単語単位で表層的に正解文と比較して品質を評価し、モデルにフィードバックする。しかし、このような方法では、正解文と表層的に一致しない良い翻訳文に対して不当に低い評価を与える場合がある。本研究では、文単位で意味的に入力文と比較して翻訳文を評価し、翻訳器を訓練する。この方法では、対訳データなしで翻訳器を訓練できるため、少資源や教師なしの設定における中品質な機械翻訳を改善でき、各種サービスの多言語展開に貢献すると期待できる。
|
| 研究実績の概要 |
本研究では、自然言語処理モデルによる出力文を正解文なしで自動評価する品質推定に取り組み、これを活用して半教師ありの設定で機械翻訳をはじめとするテキスト生成モデルを訓練する。今年度は、品質推定の研究に取り組むとともに、品質推定などの評価の技術を機械翻訳の訓練に活用するための強化学習の研究にも取り組んだ。
(i) Encoderモデルに基づく機械翻訳の品質推定：複数言語のデータを用いて単語穴埋めの事前学習を行ったマスク言語モデルをベースに、言語横断の文間意味的類似度推定モデルを構築した。提案手法では、マスク言語モデルから得られる文ベクトルを、言語情報を表す言語ベクトルと意味情報を表す意味ベクトルに分離した。特に、言語情報と意味情報の分離を促すために、敵対的学習を行い、意味ベクトルから入力言語を判別できないように工夫した。この意味ベクトルを用いて、入力文と出力文の間の意味的類似度推定を行うことで、正解文や人手評価値を使用しない教師なし設定での品質推定を実現した。実験の結果、Encoderモデルに基づく機械翻訳の教師なし品質推定において、最高性能を達成した。
(ii) Encoder-Decoderモデルに基づく機械翻訳の品質推定：複数言語のデータを用いて単語穴埋めの事前学習を行った系列変換モデルをベースに、言語横断の文間意味的類似度推定モデルを構築した。提案手法では、入力文から出力文を生成する際の文生成確率に基づき、正解文や人手評価値を使用しない教師なし設定での品質推定を実現した。実験の結果、特に多資源言語対において、Encoderモデルに基づく品質推定の性能を上回ることを確認した。
(iii) 機械翻訳のための強化学習：様々な評価指標を報酬として機械翻訳の強化学習を行った。実験の結果、マスク言語モデルに基づく評価指標を報酬とすることで、機械翻訳の品質を改善できることを確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
品質推定および強化学習の研究に取り組み、知見を得ることができた。
|
| 今後の研究の推進方策 |
今年度は、機械翻訳における品質推定の性能を改善するとともに、強化学習の報酬としてマスク言語モデルを活用して機械翻訳の品質を改善した。今後は、品質推定を直接的に強化学習に活かす方法を検討する。
|
