Experimentally revealing human over/under-trust in AI and development of AI to prevent it

• Project/Area Number: 24H00731
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: National Institute of Informatics
• Principal Investigator: 山田 誠二 国立情報学研究所, コンテンツ科学研究系, 教授 (50220380)
• Co-Investigator(Kenkyū-buntansha): 小野 哲雄 京都橘大学, 工学部, 教授 (40343389)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥42,900,000 (Direct Cost: ¥33,000,000、Indirect Cost: ¥9,900,000); Fiscal Year 2025: ¥11,570,000 (Direct Cost: ¥8,900,000、Indirect Cost: ¥2,670,000); Fiscal Year 2024: ¥12,220,000 (Direct Cost: ¥9,400,000、Indirect Cost: ¥2,820,000)
• Keywords: AIに対する信頼 / AIに対する過信・不信 / AIに対する過不信の予測と予防

Outline of Research at the Start

昨今の生成系AIであるChatGPTや自動運転の普及により人間-AI協調意思決定が日常的になるに伴って顕在化してきた問題の一つに，人間がAIを信頼し過ぎてしまう過信と逆に過度に信頼しない不信がある．この過不信を抑制するために，本研究では『AIに対する人間の過不信に注目し，認知モデリングによってそのメカニズムを解明し，それを予防できるAIを構築する』．予防キューの設計には，人間の行動変容を促すナッジ技術が用いられる．そして，リアルタイムな過不信回避が必須である自動車やドローンの自動運転においてPOT-AIを実装し，参加者実験により過信不信予測モデルおよびPOT-AIの有効性を検証する．