| 研究課題/領域番号 |
21K17814
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 国立研究開発法人理化学研究所 |
|---|
研究代表者 |
HEINZERLING BENJAMIN 国立研究開発法人理化学研究所, 革新知能統合研究センター, 副チームリーダー (50846491)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2021年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
|
|---|
| キーワード | Language models / structured knowledge / interpretability / explainability / knowledge representation / knowledge base / language model / world knowledge / numeric properties / grounding / NLP |
|---|
| 研究開始時の研究の概要 |
Just as a human processes text by relating it to her experience and knowledge, this proposal argues that language models (LMs) should relate text to a structured knowledge base (KB). Benefits of the proposed KB-grounded LM are alignment of text and KB, more efficient LM training, and applications in machine translation.
|
| 研究成果の概要 |
二つの主要な成果を達成しました。最初の成果は、構造化された知識のより良い統合を可能にする言語モデル（LM）のアーキテクチャです。LMは一般的に大量のテキストデータに基づいて訓練されますが、独自の社内知識ベースなどの特定の構造化された知識を統合することが望ましい場合がよくあります。ここでは、高価な再訓練を必要とせずにそのような統合を可能にするバイエンコーダアーキテクチャを開発しました。
二つ目の成果は、LMが特定の種類の構造化知識、具体的には人の出生年や都市の人口などの数値的属性をどの程度うまく表現しているかを分析する解釈方法です。
|
| 研究成果の学術的意義や社会的意義 |
The first achievement provides an efficient method for integrating structured knowledge into existing language models, which allows users to adapt LMs to their specific needs without costly retraining.
The second achievement improves our understanding of how LMs, thereby increasing transparency.
|
