Building an academic community and network for the establishment of embodied semiotics

• Project Area: Embodied Semiotics: Understanding Gesture and Sign Language in Language Interaction
• Project/Area Number: 22H05012
• Research Category: Grant-in-Aid for Transformative Research Areas (B)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (I)
• Research Institution: National Institute of Informatics
• Principal Investigator: 坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
• Co-Investigator(Kenkyū-buntansha): 高梨 克也 滋賀県立大学, 人間文化学部, 教授 (30423049) ; 中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305) ; 菊地 浩平 筑波技術大学, 産業技術学部, 助教 (60582898)
• Project Period (FY): 2022-05-20 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000); Fiscal Year 2024: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000); Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2022: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
• Keywords: 身体記号学 / マルチモーダル記号論 / モダリティ横断 / マルチモーダル対話翻訳 / AI / 身振り / 手話

Outline of Research at the Start

本領域研究は，会話における身振りや手話といった，記号としての特徴が未だ明確ではない事象を研究対象に，言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする．領域全体として，音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指す．成果として，マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し，マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする．