研究課題
本研究の目的は、自然言語処理を行うニューラルモデルについて効率の良いモデルを構築することである。前年度では学習において効率の良い正則化手法を調査し、近年の研究で提案されている敵対的摂動よりも単語をランダムに置換するような簡便な手法の方が効率的であることを明らかにした。本年度は推論時の効率の向上に取り組んだ。ニューラルモデルでは複数のモデルの出力を統合するアンサンブルという手法により、1つのモデルのみを用いたときよりも性能が向上することが知られている。本年度はこのアンサンブルを1つのモデルで行う手法を考案した。具体的には、サブワード正則化という、系列を様々なサブワードに分割しモデルの頑健性を高める手法で学習したモデルについて、推論時にも様々なサブワードでの入力から出力を構築し、これを組み合わせることでアンサンブルの効果を達成した。本手法は、実際に複数モデルを構築しアンサンブルした性能には及ばないが、単一モデルの場合と比べ高い性能が達成可能であることを示した。また、推論に速度が必要な場合には、入力のサブワード列を単一のものとし、単一モデルと同じ計算時間で同等の性能を達成可能である。前年度の研究とあわせ、学習・推論の両方において計算時間について効率の良い手法を探求し、有用な結果を提示できた。加えて、前年度より調査している、パラメータ効率の良い手法について、機械翻訳や言語モデルのような自然言語処理のタスクだけではなく、自動音声認識でも効果があることを実験的に明らかにした。
すべて 2022
すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (1件) (うち国際学会 1件)
Findings of the Association for Computational Linguistics: ACL 2022
巻: Findings of ACL 2022 ページ: 2536, 2541
10.18653/v1/2022.findings-acl.199
Proceedings of the Thirteenth Language Resources and Evaluation Conference
巻: LREC 2022 ページ: 3008, 3016
