2023 Fiscal Year Research-status Report
事象間関係知識の連続空間への埋め込みによる柔軟な推論機構の開発
| Project/Area Number |
19K20332
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
井之上 直也 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
|
|---|
| Project Period (FY) |
2021-11-01 – 2025-03-31
|
| Keywords | 自然言語処理 / 質問分解 / マルチホップ推論 / 文脈内学習 / 言語モデル |
|---|
| Outline of Annual Research Achievements |
１．大規模言語モデルに基づく質問分解: 課題3の推論技術のプロトタイプとして、大規模言語モデルを知識ベースとみなし、与えられた質問を単純な質問に分解し、確信度高く回答できるようになるまで質問を分解して最終的な回答を導き出す手法を検討した (井之上ら2024)。既存の質問応答データセット StrategyQA (Geva et al. 2021) を用いてその効果を検証し、分解をしない手法に比べて、高い回答率を維持しながらも精度を向上させられることを確認した。
２．日本語マルチホップ推論のベンチマークデータセットの構築: 推論技術の評価に向けて、多段推論を必要とする日本語の質問応答データセットを構築した (Ishii et al. 2024)。クラウドソーシングと大規模言語モデルによる半自動構築手法を用い、約1,000事例規模のデータセットを構築し、公開した。これを用いて既存の大規模言語モデルに基づく推論技術を評価し、その正解率は60%程度にとどまること、またエラー分析の結果より、訓練データにない知識を作り出してしまうことが大きな残課題であることを明らかにした。
３．大規模言語モデルの文脈内学習の振る舞い分析: 大規模言語モデルを推論技術のベース技術とするにあたり、大規模言語モデルの詳細な振る舞いを分析した。具体的には、大規模言語モデルに与えたプロンプトから、言語モデルがタスクの入出力の形式を本当に学習できているのかを検証した (坂井ら2024)。その結果、プロンプトにおけるfew-shot事例の数と、所望の出力ラベルの確率の間には正の相関があることが確認され、大規模言語モデルには、確かにそうした能力があることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度の予備調査により、大規模言語モデルを知識ベース及び推論器として用いることの有用性を確認したため、大きく方針転換を行い、大規模言語モデルの基礎的な振る舞い分析やベンチマークデータセットの構築に時間を費やしたため、計画に少し遅れが生じた。しかし、課題3の推論技術の研究開発に関する成果も出ており、全体としておおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
2023年度は、大規模言語モデルを知識ベース及び推論器として活用し、これを外部からアルゴリズムにより制御することにより、高度な推論技術を実現できる見込みがあることを予備的に確認した。最終年度である2024年度には、確信度判断能力や質問分解能力の観点でこれをさらに発展させ、その性能を評価し、課題をまとめることに注力する。
|
