仮説検証能力の評価による言語生成AIの論理思考能力の研究

• 研究課題/領域番号: 24K15077
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分61030:知能情報学関連
• 研究機関: 立教大学
• 研究代表者: 石川 真之介 立教大学, 人工知能科学研究科, 特任准教授 (10724685)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円); 2026年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2025年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円); 2024年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
• キーワード: 知能情報処理 / 自然言語処理 / 生成AI / 大規模言語モデル

研究開始時の研究の概要

本研究では、言語生成モデル (大規模言語モデル、LLM) の論理的思考能力を明らかにするため、仮説検証能力をターゲットとして評価方法の確立及びより優れた能力を達成するための方法について探索を行う。LLM 評価用のテキストデータセットを作成し、仮説立案能力、検証方法策定能力の評価手法を確立する。次に、データセットによる評価に基づいて高い仮説検証能力を実現する入力プロンプトの探索や fine-tuning によるモデル開発を行う。本研究の成果により、より広範囲の社会活動に LLM を活用可能になることが期待できる。