映像に基づく人物行動理解の意味的深化

• 研究課題/領域番号: 24K02956
• 研究種目: 基盤研究(B)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分61010:知覚情報処理関連
• 研究機関: 東京大学
• 研究代表者: 佐藤 洋一 東京大学, 生産技術研究所, 教授 (70302627)
• 研究分担者: 古田 諒佑 東京大学, 生産技術研究所, 助教 (20843535)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 18,590千円 (直接経費: 14,300千円、間接経費: 4,290千円); 2026年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円); 2025年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円); 2024年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
• キーワード: 一人称視点映像解析

研究開始時の研究の概要

本研究では、外部知識として大規模言語モデルを活用することによる複雑な行動の深い意味理解と、3次元的なアフォーダンスに基づく手と物体のインタラクションの詳細な理解を軸として、深い意味レベルでの解釈に立脚した映像からの人物行動動理解の実現を目指す。これにより、従来の人物行動理解技術が抱える主要な課題、具体的には、身体動作レベルの表層的な解釈に留まり、行動の目的や複雑な行動における因果関係、さらには行動の裏にある理由や意図の理解が実現されていないという課題、さらに、詳細な行動理解のカギとなる手と物体のインタラクションの解析が2次元的かつ定性的なものに留まっているという課題の克服を図る。