| 研究課題/領域番号 |
21K17800
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
高瀬 翔 東京工業大学, 情報理工学院, 助教 (40817483)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2023-03-31
|
| 研究課題ステータス |
中途終了 (2022年度)
|
| 配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2022年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2021年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
|
|---|
| キーワード | 自然言語処理 / ニューラルネットワーク / 機械翻訳 |
|---|
| 研究開始時の研究の概要 |
本研究では自然言語処理を行うニューラルモデルについて、計算資源、特に学習時間に比して効果的な性能改善手法の実現を目指す。近年、翻訳や要約、文の意味計算など自然言語処理分野の様々なタスクにおいて、ニューラルネットワークを用いたモデルの性能改善を謳う研究が次々と発表されている。一方で、学習時間など計算資源に対する効率が議論されることは多くなく、実際、わずかな性能向上を達成するために、多量の計算時間やメモリを必要とする手法も多い。このような状況を鑑み、本研究では、頑健なモデル構築が可能であるが、極めて学習の遅い敵対的な摂動を用いた学習手法について、実用的な速度で同等の性能を達成する手法を実現する。
|
| 研究実績の概要 |
本研究の目的は、自然言語処理を行うニューラルモデルについて効率の良いモデルを構築することである。前年度では学習において効率の良い正則化手法を調査し、近年の研究で提案されている敵対的摂動よりも単語をランダムに置換するような簡便な手法の方が効率的であることを明らかにした。本年度は推論時の効率の向上に取り組んだ。ニューラルモデルでは複数のモデルの出力を統合するアンサンブルという手法により、1つのモデルのみを用いたときよりも性能が向上することが知られている。本年度はこのアンサンブルを1つのモデルで行う手法を考案した。具体的には、サブワード正則化という、系列を様々なサブワードに分割しモデルの頑健性を高める手法で学習したモデルについて、推論時にも様々なサブワードでの入力から出力を構築し、これを組み合わせることでアンサンブルの効果を達成した。本手法は、実際に複数モデルを構築しアンサンブルした性能には及ばないが、単一モデルの場合と比べ高い性能が達成可能であることを示した。また、推論に速度が必要な場合には、入力のサブワード列を単一のものとし、単一モデルと同じ計算時間で同等の性能を達成可能である。
前年度の研究とあわせ、学習・推論の両方において計算時間について効率の良い手法を探求し、有用な結果を提示できた。
加えて、前年度より調査している、パラメータ効率の良い手法について、機械翻訳や言語モデルのような自然言語処理のタスクだけではなく、自動音声認識でも効果があることを実験的に明らかにした。
|
