2022 Fiscal Year Research-status Report
事象間関係知識の連続空間への埋め込みによる柔軟な推論機構の開発
| Project/Area Number |
19K20332
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
井之上 直也 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
|
|---|
| Project Period (FY) |
2021-11-01 – 2025-03-31
|
| Keywords | 推論ルール / Wikipedia / ショートカット推論 / 含意関係推論 |
|---|
| Outline of Annual Research Achievements |
１．含意関係ツリーの生成技術: 課題2の推論技術の開発の一環として、与えられた自然言語文に対して、自然言語で書かれた知識ベースを用いて証明木を構築する方法を検討した。具体的には、大規模言語モデルを1ステップの事象間関係推論モデルとして用いて、アブダクティブに、１ステップずつ再帰的に証明を展開していく手法を検討した。既存の Entailment Bank (Dalvi et al. 2021) というデータセットを用いてその効果を検証した。
２．推論ルールの分析技術: 課題2で開発する推論技術の内部挙動を分析できるようにするために、深層学習モデルから、そのモデルが予測に用いている推論ルールを抽出する方法を検討した (原口ら2023)。感情極性分析モデル、含意関係認識モデルを題材として、妥当な推論ルールが実際に抽出されていることを確認した。またこれらのルールの一部は、既存研究で指摘されているショートカット推論の知見とも一致することが分かった。
３．推論技術のテストベッドの試作: 課題2で開発する推論技術の評価に向けて、自然言語により与えられた二つの事象間関係から、新たな事象間関係を推論する能力をテストするためのベンチマークデータセットの構築方法を模索した。具体的には、既存の大規模知識グラフである Wikidata から推移律的な推論ルールを抽出し、これと Wikipedia の記事を組み合わせるという方法を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度は、数多くの超大規模言語モデルがリリースされ利用可能となり、言語処理研究全体が大きな転換期となった。本課題が扱う「推論技術」についても、大規模言語モデルによる大きな恩恵を多く受けられる見込みがあると考え、急遽、大規模言語モデルの推論能力を予備調査するに至り、計画に少し遅れが生じた。
|
| Strategy for Future Research Activity |
超大規模言語モデルの推論能力の予備調査の結果、推論技術に関する基礎的な課題は大きく解消されることが定量的に判明し、「課題3: 事象間関係知識と名詞間関係知識の推論技術の統合」、及びさらに高度な推論技術を探求できるという結論に至った。これを受けて、2023年度は、超大規模言語モデルの能力をさらに深く評価・分析するとともに、大規模言語モデルとうまく協業してより高度な推論技術を開発するための基礎検討を推し進める。最終年度である2024年度には、そこで得られた知見をもって、超大規模言語モデルの強みを活かした推論技術を実装・評価することに注力する。
|
