2022 Fiscal Year Annual Research Report
Foundation of Multimodal Semiotics Targeting Gestures Accompanying Speech Conversation
| Project Area | Embodied Semiotics: Understanding Gesture and Sign Language in Language Interaction |
|---|
| Project/Area Number |
22H05013
|
|---|
| Research Institution | The University of Shiga Prefecture |
|---|
Principal Investigator |
高梨 克也 滋賀県立大学, 人間文化学部, 教授 (30423049)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
安井 永子 名古屋大学, 人文学研究科, 准教授 (30610167)
榎本 剛士 大阪大学, 大学院人文学研究科(言語文化学専攻), 准教授 (30582192)
坂井田 瑠衣 公立はこだて未来大学, システム情報科学部, 准教授 (90815763)
|
|---|
| Project Period (FY) |
2022-05-20 – 2025-03-31
|
| Keywords | 身振り / 記号論 / 記号過程 / 指標性 / マルチモーダル分析 / マルチモーダルコーパス |
|---|
| Outline of Annual Research Achievements |
本研究は，人々の自然で自発的なコミュニケーションの中で生じる身体動作（身振り）の記号としての役割を解明する「身体記号学(Embodied Semiotics)」という新しい学術変革領域の確立を目指すものである．そこでまず課題となるのは，言語とは異なり，身振りについてはそれぞれの意味を適切に認定するのが容易でないということである．この課題に対し，本研究では，(1) 身振りのマルチモーダル連鎖分析を方法論的基礎とし，これを記号過程の観点から拡張したマルチモーダル記号論モデルを構築する，(2) このモデルに基づく情報付与を行った動画・音声データベース「次世代身振りコーパス」を開発する，(3) このコーパスを情報理工学的研究に利用することによって検証する，という一連の研究プロセスを通じて取り組む．
これらのうち，(1)については，パースによる著作を含む記号論に関する基本文献や研究班メンバーの既発表論文などを参照しながら，相互行為における身体動作をパース記号論に依拠して分析するための理論的枠組みについての検討を進めた．
他方，(2)については，下記「現在までの進捗状況」の通り，SCコーパスに関する国立情報学研究所との利用許諾手続きが当初の想定よりも大幅に遅れたため，研究補助者を雇用しての試行的アノテーションを十分に進めることができなかった．そのため，既に利用許諾を得ていた分担者が本コーパスに既に付与されているレリバントアノテーションについて，その妥当性の検討と本研究にとっての課題の特定を行った．また，利用許諾後には，まずは一部の分担者と作業補助者のみで，指標的な身体記号の典型例である参与者の移動場面の抽出とアノテーション手順に関する試行を開始した．
こうした遅れにより，(3)については未着手となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
当初は，SCコーパス利用契約とデータ確認，研究補助者の雇用手続きを行い，本年度中に典型事例抽出とマルチモーダル連鎖記述に関する試行的分析まで進む予定であった．しかし，利用予定だったSCコーパスについて，国立情報学研究所との利用許諾手続きの完了が当初の想定よりも大幅に遅れたため，これに応じて，身体動作のマルチモーダル分析に関する高度な知識と技術を持つ研究補助者を十分に確保し，雇用と作業を開始することができなかった．
|
| Strategy for Future Research Activity |
SCコーパス利用契約の主要部分は無事完了したため，データ確認作業と並行して，作業補助者の募集と雇用手続きを進め，典型事例抽出とマルチモーダル連鎖記述に関する試行的分析を開始できる予定である．
|
