2022 Fiscal Year Annual Research Report
言語解析における目標テキストへの特化技術に関する研究
| Project/Area Number |
19K20351
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
大内 啓樹 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70825463)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 事例ベース学習 / 表現学習 / 文法獲得 |
|---|
| Outline of Annual Research Achievements |
2022年度は、2021年度に拡張した事例ベース学習手法をさらに拡張した。具体的には、関係抽出タスクにおけるFew-Shot学習設定やZero-shot学習設定などの極めて教師データの少ない設定を想定して拡張した。特に、2021年度の手法から拡張した点は、事例の特徴ベクトルだけでなく、クラスラベルの特徴ベクトルも事例ベース学習の枠組みで考慮するようにした点である。これによって、類似のクラスラベル同士の関係性も扱えるようになった。評価実験と通して、従来法を大幅に上回る性能を記録できることを確認した。
また、 法律情報検索タスクにも異なる拡張手法を提案した。特に、階層構造を考慮できるように拡張した。評価実験と通して、ベースラインを上回る性能と、難しい事例に対して特に効果を発揮する点などを明らかにした。
これらの手法においてベクトル表現を獲得するために大規模言語モデルを使用してきた。そこで、大規模言語モデルのベクトル表現を獲得についてさらに深く調査を行なった。特に、大規模言語モデルを母語話者に見立て、第二言語を獲得する過程を分析した。英語・フランス語・ドイツ語・ロシア語・日本語を用いた詳細な実験を通して、母語によって獲得できる文法項目に違いがある点や、母語の提示法によっても学習効率に差が出ることを明らかにした。
これらの成果は、自然言語処理分野のメジャー国際会議やその併設ワークショップに採録され、世界的に高い評価を得た。国内会議でも3つの賞を受賞するなど、高く評価された。
|
