音声会話に伴う身振りを対象としたマルチモーダル記号論の構築

• 研究領域: 言語相互行為における身振りと手話を対象とした身体記号学
• 研究課題/領域番号: 22H05013
• 研究種目: 学術変革領域研究(B)
• 配分区分: 補助金
• 審査区分: 学術変革領域研究区分(Ⅰ)
• 研究機関: 滋賀県立大学
• 研究代表者: 高梨 克也 滋賀県立大学, 人間文化学部, 教授 (30423049)
• 研究分担者: 安井 永子 名古屋大学, 人文学研究科, 准教授 (30610167) ; 榎本 剛士 大阪大学, 大学院人文学研究科(言語文化学専攻), 准教授 (30582192) ; 山本 敦 早稲田大学, 人間科学学術院, 講師(任期付) (90979379) ; 坂井田 瑠衣 公立はこだて未来大学, システム情報科学部, 准教授 (90815763) ; 横森 大輔 京都大学, 国際高等教育院, 准教授 (90723990) ; 井上 昂治 京都大学, 情報学研究科, 助教 (10838684) ; 木村 大治 京都大学, アフリカ地域研究資料センター, 名誉教授 (40242573)
• 研究期間 (年度): 2022-05-20 – 2025-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 19,890千円 (直接経費: 15,300千円、間接経費: 4,590千円); 2024年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円); 2023年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円); 2022年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
• キーワード: 身振り / 記号論 / マルチモーダル分析 / マルチモーダルコーパス

研究開始時の研究の概要

人々の自然で自発的なコミュニケーションの中で生じる身体動作（身振り）の記号としての役割を解明する「身体記号学」という新しい学術変革領域の確立を目指す．しかし，言語とは異なり，身振りについてはそれぞれの意味を適切に認定するのが容易でない．
そこで，この課題に対し，(1)～(3)の手法を用いて取り組む．
(1) 身振りのマルチモーダル連鎖分析を方法論的基礎とし，これを記号過程の観点から拡張したマルチモーダル記号論モデルを構築する．
(2) このモデルに基づく情報付与を行った動画・音声データベース「次世代身振りコーパス」を開発する．
(3) このコーパスを情報理工学的研究に利用することによって検証する．