• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

音声会話に伴う身振りを対象としたマルチモーダル記号論の構築

計画研究

研究領域言語相互行為における身振りと手話を対象とした身体記号学
研究課題/領域番号 22H05013
研究種目

学術変革領域研究(B)

配分区分補助金
審査区分 学術変革領域研究区分(Ⅰ)
研究機関滋賀県立大学

研究代表者

高梨 克也  滋賀県立大学, 人間文化学部, 教授 (30423049)

研究分担者 安井 永子  名古屋大学, 人文学研究科, 准教授 (30610167)
榎本 剛士  大阪大学, 大学院人文学研究科(言語文化学専攻), 准教授 (30582192)
山本 敦  早稲田大学, 人間科学学術院, 講師(任期付) (90979379)
坂井田 瑠衣  公立はこだて未来大学, システム情報科学部, 准教授 (90815763)
横森 大輔  京都大学, 国際高等教育院, 准教授 (90723990)
井上 昂治  京都大学, 情報学研究科, 助教 (10838684)
木村 大治  京都大学, アフリカ地域研究資料センター, 名誉教授 (40242573)
研究期間 (年度) 2022-05-20 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
19,890千円 (直接経費: 15,300千円、間接経費: 4,590千円)
2024年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
2023年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
2022年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
キーワード身振り / 記号論 / マルチモーダル分析 / マルチモーダルコーパス / 記号過程 / 指標性
研究開始時の研究の概要

人々の自然で自発的なコミュニケーションの中で生じる身体動作(身振り)の記号としての役割を解明する「身体記号学」という新しい学術変革領域の確立を目指す.しかし,言語とは異なり,身振りについてはそれぞれの意味を適切に認定するのが容易でない.
そこで,この課題に対し,(1)~(3)の手法を用いて取り組む.
(1) 身振りのマルチモーダル連鎖分析を方法論的基礎とし,これを記号過程の観点から拡張したマルチモーダル記号論モデルを構築する.
(2) このモデルに基づく情報付与を行った動画・音声データベース「次世代身振りコーパス」を開発する.
(3) このコーパスを情報理工学的研究に利用することによって検証する.

研究実績の概要

本研究は,人々の自然で自発的なコミュニケーションの中で生じる身体動作(身振り)の記号としての役割を解明する「身体記号学(Embodied Semiotics)」という新しい学術変革領域の確立を目指すものである.そこでまず課題となるのは,言語とは異なり,身振りについてはそれぞれの意味を適切に認定するのが容易でないということである.この課題に対し,本研究では,(1) 身振りのマルチモーダル連鎖分析を方法論的基礎とし,これを記号過程の観点から拡張したマルチモーダル記号論モデルを構築する,(2) このモデルに基づく情報付与を行った動画・音声データベース「次世代身振りコーパス」を開発する,(3) このコーパスを情報理工学的研究に利用することによって検証する,という一連の研究プロセスを通じて取り組む.
これらのうち,(1)については,パースによる著作を含む記号論に関する基本文献や研究班メンバーの既発表論文などを参照しながら,相互行為における身体動作をパース記号論に依拠して分析するための理論的枠組みについての検討を進めた.
他方,(2)については,下記「現在までの進捗状況」の通り,SCコーパスに関する国立情報学研究所との利用許諾手続きが当初の想定よりも大幅に遅れたため,研究補助者を雇用しての試行的アノテーションを十分に進めることができなかった.そのため,既に利用許諾を得ていた分担者が本コーパスに既に付与されているレリバントアノテーションについて,その妥当性の検討と本研究にとっての課題の特定を行った.また,利用許諾後には,まずは一部の分担者と作業補助者のみで,指標的な身体記号の典型例である参与者の移動場面の抽出とアノテーション手順に関する試行を開始した.
こうした遅れにより,(3)については未着手となった.

現在までの達成度 (区分)
現在までの達成度 (区分)

4: 遅れている

理由

当初は,SCコーパス利用契約とデータ確認,研究補助者の雇用手続きを行い,本年度中に典型事例抽出とマルチモーダル連鎖記述に関する試行的分析まで進む予定であった.しかし,利用予定だったSCコーパスについて,国立情報学研究所との利用許諾手続きの完了が当初の想定よりも大幅に遅れたため,これに応じて,身体動作のマルチモーダル分析に関する高度な知識と技術を持つ研究補助者を十分に確保し,雇用と作業を開始することができなかった.

今後の研究の推進方策

SCコーパス利用契約の主要部分は無事完了したため,データ確認作業と並行して,作業補助者の募集と雇用手続きを進め,典型事例抽出とマルチモーダル連鎖記述に関する試行的分析を開始できる予定である.

報告書

(1件)
  • 2022 実績報告書
  • 研究成果

    (8件)

すべて 2023 2022

すべて 雑誌論文 (4件) (うちオープンアクセス 4件、 査読あり 2件) 学会発表 (2件) (うち招待講演 1件) 図書 (2件)

  • [雑誌論文] 「おとなり」どうしの「立ち話」:認知科学の多様化とどう向き合うか2023

    • 著者名/発表者名
      坂井田瑠衣
    • 雑誌名

      認知科学

      巻: 30 号: 1 ページ: 101-101

    • DOI

      10.11225/cs.2022.087

    • ISSN
      1341-7924, 1881-5995
    • 年月日
      2023-03-01
    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] Sequence-initial pointing: Spotlighting what just happened as a cause of a new sequence2023

    • 著者名/発表者名
      Yasui Eiko
    • 雑誌名

      Discourse Studies

      巻: 25 号: 3 ページ: 409-429

    • DOI

      10.1177/14614456221132464

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Japanese onomatopoeia in bodily demonstrations in a traditional dance instruction: A resource for synchronizing body movements2023

    • 著者名/発表者名
      Yasui Eiko
    • 雑誌名

      Journal of Pragmatics

      巻: 207 ページ: 45-61

    • DOI

      10.1016/j.pragma.2023.02.002

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 生態学的相互行為分析から見た「私の経験」2022

    • 著者名/発表者名
      高梨 克也
    • 雑誌名

      人工知能

      巻: 37 号: 6 ページ: 735-742

    • DOI

      10.11517/jjsai.37.6_735

    • ISSN
      2188-2266, 2435-8614
    • 年月日
      2022-11-01
    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [学会発表] 指さしと相互行為: 会話における指さしの多様な働きと指示の達成2022

    • 著者名/発表者名
      安井永子
    • 学会等名
      第48回日本手話学会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] “Does it feel spacious?”: Negotiations between the visual and non-visual world2022

    • 著者名/発表者名
      Yasusuke Minami, Nisisawa Hiro Yuki, Mitsuhiro Okada and Rui Sakaida
    • 学会等名
      7th Copenhagen Multimodality Day
    • 関連する報告書
      2022 実績報告書
  • [図書] 「同じ世界を知る」ことはいかにして可能か:視覚障害者の歩行訓練から(障害理解のリフレクション:行為と言葉が描く〈他者〉と共にある世界,佐藤貴宣・栗田季佳(編))2023

    • 著者名/発表者名
      坂井田瑠衣
    • 総ページ数
      24
    • 出版者
      ちとせプレス
    • ISBN
      9784908736308
    • 関連する報告書
      2022 実績報告書
  • [図書] 日常生活場面の相互行為分析(鈴木宏昭編,『認知科学講座3:心と社会』)2022

    • 著者名/発表者名
      高梨克也・坂井田瑠衣
    • 総ページ数
      38
    • 出版者
      東京大学出版会
    • ISBN
      9784130152037
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-05-25   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi