映像に基づく人物行動理解の意味的深化

Research Project

Project/Area Number	24K02956
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	The University of Tokyo
Principal Investigator	佐藤洋一東京大学, 生産技術研究所, 教授 (70302627)
Co-Investigator(Kenkyū-buntansha)	古田諒佑東京大学, 生産技術研究所, 助教 (20843535)
Project Period (FY)	2024-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000) Fiscal Year 2026: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000) Fiscal Year 2025: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000) Fiscal Year 2024: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Keywords	一人称視点映像解析
Outline of Research at the Start	本研究では、外部知識として大規模言語モデルを活用することによる複雑な行動の深い意味理解と、3次元的なアフォーダンスに基づく手と物体のインタラクションの詳細な理解を軸として、深い意味レベルでの解釈に立脚した映像からの人物行動動理解の実現を目指す。これにより、従来の人物行動理解技術が抱える主要な課題、具体的には、身体動作レベルの表層的な解釈に留まり、行動の目的や複雑な行動における因果関係、さらには行動の裏にある理由や意図の理解が実現されていないという課題、さらに、詳細な行動理解のカギとなる手と物体のインタラクションの解析が2次元的かつ定性的なものに留まっているという課題の克服を図る。