Human-AI Comparison on Visual Grounding of Negation

Research Project

Project/Area Number	24K15676
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 90030:Cognitive science-related
Research Institution	Ochanomizu University
Principal Investigator	佐藤有理お茶の水女子大学, 基幹研究院, 助教 (90750480)
Project Period (FY)	2024-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywords	意味理解 / 否定 / 注意 / コンティニュアント / 人間とAI
Outline of Research at the Start	何ができていれば言葉の「意味」が分かっていると言えるか。実世界のネコを指差して「これが猫だ」と指摘できればよいという指示的意味論の考え方がある。画像とテキストを対応させる画像キャプションの機械学習AIは、こうした視覚的グラウンディングとしての「意味」を計算論的に実現する試みと捉えられる。ここでは全ての言葉を視覚的に表現することが原理上求められるが、「否定」はそれへのチャレンジングタスクである。我々は「存在否定」と「非一時的性質」をターゲットにして、画像からどのように理解されうるか、視覚的グラウンディングとしての意味理解はいかに可能か、人間と機械学習モデルのパフォーマンス比較を通して分析する。