Constructing a gesture-annotated corpus and examining syntactic gestures

• Project/Area Number: 24K16050
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 02060:Linguistics-related
• Research Institution: Shizuoka University
• Principal Investigator: 岡久 太郎 静岡大学, 情報学部, 助教 (50973848)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2027: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000); Fiscal Year 2026: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: ジェスチャー / コーパス構築 / 統語構造 / イントネーション

Outline of Research at the Start

本研究の目的は、「統語構造上の主要部はジェスチャーとして表現されやすい」という仮説を検証することである。既存の研究から、特定の統語構造に対応したジェスチャーが存在し、特に統語構造上の主要部がジェスチャーとして表現されやすいことが示唆されている。本研究では、ジェスチャーが共起しやすいテーマで会話を収録し、ジェスチャーを含めたアノテーションを施したコーパスを構築・分析する。さらに、発話の各要素をジェスチャーで表現した映像に異なるイントネーションで発話された音声を組み合わせた刺激を用い、主要部を表現するジェスチャーがどの程度理解に貢献するかを実験的に検証する。