Research on the Logical Thinking Capability of Language Generative AI through Evaluation of Hypothesis Testing Ability

• Project/Area Number: 24K15077
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Rikkyo University
• Principal Investigator: 石川 真之介 立教大学, 人工知能科学研究科, 特任准教授 (10724685)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2026: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2025: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
• Keywords: 知能情報処理 / 自然言語処理 / 生成AI / 大規模言語モデル

Outline of Research at the Start

本研究では、言語生成モデル (大規模言語モデル、LLM) の論理的思考能力を明らかにするため、仮説検証能力をターゲットとして評価方法の確立及びより優れた能力を達成するための方法について探索を行う。LLM 評価用のテキストデータセットを作成し、仮説立案能力、検証方法策定能力の評価手法を確立する。次に、データセットによる評価に基づいて高い仮説検証能力を実現する入力プロンプトの探索や fine-tuning によるモデル開発を行う。本研究の成果により、より広範囲の社会活動に LLM を活用可能になることが期待できる。