| 研究課題/領域番号 |
20K19877
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
能地 宏 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (00782541)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| キーワード | 自然言語処理 / 言語モデル / 構文解析 / RNNG |
|---|
| 研究実績の概要 |
本年度は、言語の木構造をニューラルネットワークでモデル化する際の基礎技術に関して研究を進め、大きな進展を得ることができた。木構造を明示的に捉えるモデルとして、 recurrent neural network grammar (RNNG) というモデルが存在する。本年度の１番の大きな成果は、このモデルに対する新しい効率的な学習法と推論法を確立し、それらをソフトウェア上に実装した点である。既存の実装と比較して、学習時に6倍程度以上の高速化を実現することができた。この成果は、RNNGモデルを様々な応用に適用する可能性を押し広げるものであり、非常に重要な研究成果であると考えられる。
具体的には、 RNNG の新しい学習法として、完全にミニバッチ化されたテンソル計算上での RNNG の学習法を考案し、 PyTorch を用いて実装した。RNNG は、内部で構築途中の木構造をモデル化するために、各要素がベクトルであるスタックを用いる。スタックを用いているために、 RNNG は他の単純なニューラルネットワークのモデルと違いミニバッチ化を行うことが非常に難しく、これがモデルのスケーラビリティを下げる大きな原因となっていた。本研究では、スタックを明示的に扱いつつも各計算のミニバッチ化を保持する新しいアルゴリズムを考案した。具体的には、スタック自体を長さが固定のテンソルで表現することで、スタック要素に対する各動作を、テンソルに対するテンソル計算に落とし込むことに成功した。
さらに本研究では、このバッチ化された RNNG を、実際にこれまでよりも大規模な訓練データに対して適応し、その性能評価を行った。その結果、1億語を超える大きなデータ上での学習であっても、 RNNG には LSTM など木構造を明示的に捉えないモデルに対する明確な利点が存在することが判明した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
RNNG の学習に対して、新しいミニバッチ化法を考案し、それを実装することによって、これまで RNNG を実応用に展開する際の大きな妨げであったスケーラビリティの問題をほぼ解決することができた。この成果をまとめた論文は、国内学会の言語処理学会年次大会において、最優秀論文賞に選ばれ、大きく評価された。
|
| 今後の研究の推進方策 |
当初の研究計画では、ニューラル言語モデルからの教師なし構文解析を最終的な目標に挙げていた。本年度の研究によって、その基礎部分である RNNG に関して、当初の想定よりも豊かな研究結果が得られたため、残りの研究年数が1年間であることも鑑み、当初の研究計画を若干修正し、本研究で構築した新しい RNNG モデルの性質に関するより詳細な理解を行うことを第一の目標にしようと考えている。 RNNG は木構造の生成モデルであるため、将来の教師なし構文解析に用いることも可能なはずであり、本研究は、その礎になるものと考えられる。
|
| 次年度使用額が生じた理由 |
国際会議への参加費用として旅費を計上していたが、国際会議が全てオンライン開催に変更になったため、この費用に余りが生じた。翌年度分は、大規模計算に必要な計算機利用料へ計上する予定である。
|
