| Project/Area Number |
19K20332
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology (2022-2023)
Tohoku University (2019) |
|---|
Principal Investigator |
井之上 直也 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
|
|---|
| Project Period (FY) |
2021-11-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 自然言語処理 / 質問分解 / マルチホップ推論 / 文脈内学習 / 言語モデル / 推論ルール / Wikipedia / ショートカット推論 / 含意関係推論 / 因果関係推論 / 人工知能 / 機械読解 / 知識ベース / 推論 / 埋め込み / 因果関係知識 / 事前訓練済み言語モデル / 事象間関係知識 / 常識推論 |
|---|
| Outline of Research at the Start |
計算機の言語理解の実現に重要な常識推論の研究では、因果関係などの事象間の関係知識を用いてどのように柔軟に推論を実現するか、有効な手段はまだ見つかっていない。本応募課題では、大きく三つの課題に取り組む。第一に、研究実施の土台を整備するために、事象間関係知識のデータベースを構築する方法を確立する。第二に、これを用いて、事象間関係知識を連続空間上に埋め込み、推論を実現する技術を開発・評価する。第三に、従来から研究されている名詞間関係知識の推論技術と開発した技術を統合し、より高度な文章読解機構を実現する。構築した知識ベース、開発した埋め込み・推論技術については、一般公開し、広く利用できるものとする。
|
| Outline of Annual Research Achievements |
１．大規模言語モデルに基づく質問分解: 課題3の推論技術のプロトタイプとして、大規模言語モデルを知識ベースとみなし、与えられた質問を単純な質問に分解し、確信度高く回答できるようになるまで質問を分解して最終的な回答を導き出す手法を検討した (井之上ら2024)。既存の質問応答データセット StrategyQA (Geva et al. 2021) を用いてその効果を検証し、分解をしない手法に比べて、高い回答率を維持しながらも精度を向上させられることを確認した。
２．日本語マルチホップ推論のベンチマークデータセットの構築: 推論技術の評価に向けて、多段推論を必要とする日本語の質問応答データセットを構築した (Ishii et al. 2024)。クラウドソーシングと大規模言語モデルによる半自動構築手法を用い、約1,000事例規模のデータセットを構築し、公開した。これを用いて既存の大規模言語モデルに基づく推論技術を評価し、その正解率は60%程度にとどまること、またエラー分析の結果より、訓練データにない知識を作り出してしまうことが大きな残課題であることを明らかにした。
３．大規模言語モデルの文脈内学習の振る舞い分析: 大規模言語モデルを推論技術のベース技術とするにあたり、大規模言語モデルの詳細な振る舞いを分析した。具体的には、大規模言語モデルに与えたプロンプトから、言語モデルがタスクの入出力の形式を本当に学習できているのかを検証した (坂井ら2024)。その結果、プロンプトにおけるfew-shot事例の数と、所望の出力ラベルの確率の間には正の相関があることが確認され、大規模言語モデルには、確かにそうした能力があることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度の予備調査により、大規模言語モデルを知識ベース及び推論器として用いることの有用性を確認したため、大きく方針転換を行い、大規模言語モデルの基礎的な振る舞い分析やベンチマークデータセットの構築に時間を費やしたため、計画に少し遅れが生じた。しかし、課題3の推論技術の研究開発に関する成果も出ており、全体としておおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
2023年度は、大規模言語モデルを知識ベース及び推論器として活用し、これを外部からアルゴリズムにより制御することにより、高度な推論技術を実現できる見込みがあることを予備的に確認した。最終年度である2024年度には、確信度判断能力や質問分解能力の観点でこれをさらに発展させ、その性能を評価し、課題をまとめることに注力する。
|
