大規模言語モデルと統語的言語モデルの融合

• Project/Area Number: 24KJ0800
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Multi-year Fund
• Section: 国内
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: 吉田 遼 東京大学, 大学院総合文化研究科, 特別研究員(DC2)
• Project Period (FY): 2024-04-23 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥1,500,000 (Direct Cost: ¥1,500,000); Fiscal Year 2025: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2024: ¥500,000 (Direct Cost: ¥500,000)

Outline of Research at the Start

昨今の大規模言語モデル (LLM) は、その成功とは裏腹に学習効率が低いという課題を抱える。また、言語学が仮定する文の階層的な構造（統語構造）を明示的に学習する統語的言語モデルは、学習効率こそ高いものの大規模化しにくく、最高到達精度ではLLMに及ばないという課題を抱える。本研究計画では、統語的言語モデルとLLMの二つのアプローチを融合し、統語的言語モデルの持つ学習効率の高さとLLMの持つ大規模化の可能性を兼ね備えた新しい言語モデル（統語的LLM）の開発を目指す。