2022 Fiscal Year Annual Research Report
| Project/Area Number |
21K17800
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
高瀬 翔 東京工業大学, 情報理工学院, 助教 (40817483)
|
|---|
| Project Period (FY) |
2021-04-01 – 2023-03-31
|
| Keywords | 自然言語処理 / ニューラルネットワーク / 機械翻訳 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、自然言語処理を行うニューラルモデルについて効率の良いモデルを構築することである。前年度では学習において効率の良い正則化手法を調査し、近年の研究で提案されている敵対的摂動よりも単語をランダムに置換するような簡便な手法の方が効率的であることを明らかにした。本年度は推論時の効率の向上に取り組んだ。ニューラルモデルでは複数のモデルの出力を統合するアンサンブルという手法により、1つのモデルのみを用いたときよりも性能が向上することが知られている。本年度はこのアンサンブルを1つのモデルで行う手法を考案した。具体的には、サブワード正則化という、系列を様々なサブワードに分割しモデルの頑健性を高める手法で学習したモデルについて、推論時にも様々なサブワードでの入力から出力を構築し、これを組み合わせることでアンサンブルの効果を達成した。本手法は、実際に複数モデルを構築しアンサンブルした性能には及ばないが、単一モデルの場合と比べ高い性能が達成可能であることを示した。また、推論に速度が必要な場合には、入力のサブワード列を単一のものとし、単一モデルと同じ計算時間で同等の性能を達成可能である。
前年度の研究とあわせ、学習・推論の両方において計算時間について効率の良い手法を探求し、有用な結果を提示できた。
加えて、前年度より調査している、パラメータ効率の良い手法について、機械翻訳や言語モデルのような自然言語処理のタスクだけではなく、自動音声認識でも効果があることを実験的に明らかにした。
|
