Understanding and Simulating Neural Processes for Vision-to-Language Production through Brain-AI Comparisons

• Project/Area Number: 24KK0189
• Research Category: Fund for the Promotion of Joint International Research (International Collaborative Research)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: National Institute of Information and Communications Technology
• Principal Investigator: 西田 知史 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (90751933)
• Co-Investigator(Kenkyū-buntansha): 小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440) ; 高木 優 国立情報学研究所, 大規模言語モデル研究開発センター, 特任准教授 (20828553)
• Project Period (FY): 2024-09-09 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥20,800,000 (Direct Cost: ¥16,000,000、Indirect Cost: ¥4,800,000); Fiscal Year 2026: ¥8,320,000 (Direct Cost: ¥6,400,000、Indirect Cost: ¥1,920,000); Fiscal Year 2025: ¥8,320,000 (Direct Cost: ¥6,400,000、Indirect Cost: ¥1,920,000); Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
• Keywords: 視覚-言語変換 / 脳とAI / 言語生成 / fMRI / 自然言語処理

Outline of Research at the Start

視覚体験を柔軟に言語記述する能力は、人間の豊かな言語コミュニケーションの基盤をなしているが、その脳内機序は不明な点が多い。本研究の目的は、視覚情報から言語を生成する脳内基盤を、脳とAIの対照によって理解するとともに、その理解に基づいて個人脳の言語生成プロセスを模倣するAIを実現することである。本研究の成果は、視覚情報から言語を生成する脳内機序に対して理解を得ることで神経科学の重要な知見をもたらすとともに、脳のように振る舞う言語生成AIを創出して人間中心のAI技術の実現に寄与する。