否定の視覚的グラウンディングに関する人間・機械学習モデル比較研究

• 研究課題/領域番号: 24K15676
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分90030:認知科学関連
• 研究機関: お茶の水女子大学
• 研究代表者: 佐藤 有理 お茶の水女子大学, 基幹研究院, 助教 (90750480)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2026年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2025年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2024年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
• キーワード: 意味理解 / 否定 / 注意 / コンティニュアント / 人間とAI

研究開始時の研究の概要

何ができていれば言葉の「意味」が分かっていると言えるか。実世界のネコを指差して「これが猫だ」と指摘できればよいという指示的意味論の考え方がある。画像とテキストを対応させる画像キャプションの機械学習AIは、こうした視覚的グラウンディングとしての「意味」を計算論的に実現する試みと捉えられる。ここでは全ての言葉を視覚的に表現することが原理上求められるが、「否定」はそれへのチャレンジングタスクである。我々は「存在否定」と「非一時的性質」をターゲットにして、画像からどのように理解されうるか、視覚的グラウンディングとしての意味理解はいかに可能か、人間と機械学習モデルのパフォーマンス比較を通して分析する。