| Project/Area Number |
21K17800
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
高瀬 翔 東京工業大学, 情報理工学院, 助教 (40817483)
|
|---|
| Project Period (FY) |
2021-04-01 – 2023-03-31
|
| Project Status |
Discontinued (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2021: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 自然言語処理 / ニューラルネットワーク / 機械翻訳 |
|---|
| Outline of Research at the Start |
本研究では自然言語処理を行うニューラルモデルについて、計算資源、特に学習時間に比して効果的な性能改善手法の実現を目指す。近年、翻訳や要約、文の意味計算など自然言語処理分野の様々なタスクにおいて、ニューラルネットワークを用いたモデルの性能改善を謳う研究が次々と発表されている。一方で、学習時間など計算資源に対する効率が議論されることは多くなく、実際、わずかな性能向上を達成するために、多量の計算時間やメモリを必要とする手法も多い。このような状況を鑑み、本研究では、頑健なモデル構築が可能であるが、極めて学習の遅い敵対的な摂動を用いた学習手法について、実用的な速度で同等の性能を達成する手法を実現する。
|
| Outline of Annual Research Achievements |
本研究の目的は、自然言語処理を行うニューラルモデルについて効率の良いモデルを構築することである。前年度では学習において効率の良い正則化手法を調査し、近年の研究で提案されている敵対的摂動よりも単語をランダムに置換するような簡便な手法の方が効率的であることを明らかにした。本年度は推論時の効率の向上に取り組んだ。ニューラルモデルでは複数のモデルの出力を統合するアンサンブルという手法により、1つのモデルのみを用いたときよりも性能が向上することが知られている。本年度はこのアンサンブルを1つのモデルで行う手法を考案した。具体的には、サブワード正則化という、系列を様々なサブワードに分割しモデルの頑健性を高める手法で学習したモデルについて、推論時にも様々なサブワードでの入力から出力を構築し、これを組み合わせることでアンサンブルの効果を達成した。本手法は、実際に複数モデルを構築しアンサンブルした性能には及ばないが、単一モデルの場合と比べ高い性能が達成可能であることを示した。また、推論に速度が必要な場合には、入力のサブワード列を単一のものとし、単一モデルと同じ計算時間で同等の性能を達成可能である。
前年度の研究とあわせ、学習・推論の両方において計算時間について効率の良い手法を探求し、有用な結果を提示できた。
加えて、前年度より調査している、パラメータ効率の良い手法について、機械翻訳や言語モデルのような自然言語処理のタスクだけではなく、自動音声認識でも効果があることを実験的に明らかにした。
|
