事象間関係知識の連続空間への埋め込みによる柔軟な推論機構の開発
| Project/Area Number |
19K20332
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology (2022)
Tohoku University (2019) |
|---|
Principal Investigator |
井之上 直也 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
|
|---|
| Project Period (FY) |
2021-11-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 推論ルール / Wikipedia / ショートカット推論 / 含意関係推論 / 自然言語処理 / 因果関係推論 / 人工知能 / 機械読解 / 知識ベース / 推論 / 埋め込み / 因果関係知識 / 事前訓練済み言語モデル / 事象間関係知識 / 常識推論 |
|---|
| Outline of Research at the Start |
計算機の言語理解の実現に重要な常識推論の研究では、因果関係などの事象間の関係知識を用いてどのように柔軟に推論を実現するか、有効な手段はまだ見つかっていない。本応募課題では、大きく三つの課題に取り組む。第一に、研究実施の土台を整備するために、事象間関係知識のデータベースを構築する方法を確立する。第二に、これを用いて、事象間関係知識を連続空間上に埋め込み、推論を実現する技術を開発・評価する。第三に、従来から研究されている名詞間関係知識の推論技術と開発した技術を統合し、より高度な文章読解機構を実現する。構築した知識ベース、開発した埋め込み・推論技術については、一般公開し、広く利用できるものとする。
|
| Outline of Annual Research Achievements |
１．含意関係ツリーの生成技術: 課題2の推論技術の開発の一環として、与えられた自然言語文に対して、自然言語で書かれた知識ベースを用いて証明木を構築する方法を検討した。具体的には、大規模言語モデルを1ステップの事象間関係推論モデルとして用いて、アブダクティブに、１ステップずつ再帰的に証明を展開していく手法を検討した。既存の Entailment Bank (Dalvi et al. 2021) というデータセットを用いてその効果を検証した。
２．推論ルールの分析技術: 課題2で開発する推論技術の内部挙動を分析できるようにするために、深層学習モデルから、そのモデルが予測に用いている推論ルールを抽出する方法を検討した (原口ら2023)。感情極性分析モデル、含意関係認識モデルを題材として、妥当な推論ルールが実際に抽出されていることを確認した。またこれらのルールの一部は、既存研究で指摘されているショートカット推論の知見とも一致することが分かった。
３．推論技術のテストベッドの試作: 課題2で開発する推論技術の評価に向けて、自然言語により与えられた二つの事象間関係から、新たな事象間関係を推論する能力をテストするためのベンチマークデータセットの構築方法を模索した。具体的には、既存の大規模知識グラフである Wikidata から推移律的な推論ルールを抽出し、これと Wikipedia の記事を組み合わせるという方法を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度は、数多くの超大規模言語モデルがリリースされ利用可能となり、言語処理研究全体が大きな転換期となった。本課題が扱う「推論技術」についても、大規模言語モデルによる大きな恩恵を多く受けられる見込みがあると考え、急遽、大規模言語モデルの推論能力を予備調査するに至り、計画に少し遅れが生じた。
|
| Strategy for Future Research Activity |
超大規模言語モデルの推論能力の予備調査の結果、推論技術に関する基礎的な課題は大きく解消されることが定量的に判明し、「課題3: 事象間関係知識と名詞間関係知識の推論技術の統合」、及びさらに高度な推論技術を探求できるという結論に至った。これを受けて、2023年度は、超大規模言語モデルの能力をさらに深く評価・分析するとともに、大規模言語モデルとうまく協業してより高度な推論技術を開発するための基礎検討を推し進める。最終年度である2024年度には、そこで得られた知見をもって、超大規模言語モデルの強みを活かした推論技術を実装・評価することに注力する。
|
Report
(2 results)
Research Products
(8 results)
