• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Multimodal Semiotics for Icons and Indexes in Sign Language

Planned Research

Project AreaEmbodied Semiotics: Understanding Gesture and Sign Language in Language Interaction
Project/Area Number 22H05014
Research Category

Grant-in-Aid for Transformative Research Areas (B)

Allocation TypeSingle-year Grants
Review Section Transformative Research Areas, Section (I)
Research InstitutionNational Institute of Informatics

Principal Investigator

坊農 真弓  国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)

Co-Investigator(Kenkyū-buntansha) 原田 なをみ  東京都立大学, 人文科学研究科, 教授 (10374109)
藤川 直也  東京大学, 大学院総合文化研究科, 准教授 (40749412)
大杉 豊  筑波技術大学, 障害者高等教育研究支援センター, 教授 (60451704)
相良 啓子  大学共同利用機関法人人間文化研究機構国立国語研究所, 研究系, 特別研究員(PD) (90748724)
Project Period (FY) 2022-05-20 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥35,230,000 (Direct Cost: ¥27,100,000、Indirect Cost: ¥8,130,000)
Fiscal Year 2024: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000)
Fiscal Year 2023: ¥12,610,000 (Direct Cost: ¥9,700,000、Indirect Cost: ¥2,910,000)
Fiscal Year 2022: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000)
Keywordsイコン / インデックス / シンボル / 言語研究 / 手話 / 言語 / 日本手話 / 統語論 / 意味論 / 語用論 / 当事者研究 / コーパス
Outline of Research at the Start

本計画研究の目的は,類像性(イコン)と指標性(インデックス)に着目した,手話言語独自のマルチモーダル記号論の確立可能性を証明することである.具体的には,(1)既存のデータを用い,統語論・意味論・語用論,ろう者学の4つの方法で手話言語の類像性と指標性のマルチモーダル記号論的記述を試み, (2)手話言語の独自性を組み込んだ新しい記号論の構築を実現する.また,(3)欧州で主流の記号と意味を1対1で結びつける方法とは異なる,イコンとインデックスを考察する方法で手話語彙ひいては描写手話表現を含む手話表現全体を整理する.また,(4)対象を手話母語話者に絞った『日本手話危機言語コーパス』を新しく構築する.

Outline of Annual Research Achievements

本計画研究の目的は,類像性(イコン)と指標性(インデックス)に着目した,手話言語独自のマルチモーダル記号論の確立可能性を証明することであった.具体的には次の二つの研究活動を進める計画をしていた.(1)我々が所持する『日本手話話し言葉コーパス(通称:JSLコーパス)』を用い,統語論・意味論・語用論,ろう者学の4つの方法で手話言語の類像性と指標性のマルチモーダル記号論的記述を試み, (2)手話言語の独自性を組み込んだ新しい記号論の構築を実現する.また,(3)欧州で主流の記号と意味を1対1で結びつける方法(例:Signbank)とは異なる,イコンとインデックスを考察する方法で手話語彙ひいては描写手話表現(depicting sign)を含む手話表現全体を整理する.また,(4)対象を手話母語話者に絞った『日本手話危機言語コーパス』を次世代手話コーパスとして新しく構築する.
初年度である2022年度は,主として(1)を『日本手話話し言葉コーパス』を共有することによって精力的に進め,(4)の次世代手話コーパスのデザインについての議論を開始した.具体的な活動としては,A02の企画として研究領域全体に向けて次の議論の場を提供した:「消滅危機言語についての報告会と意見交換(話題提供者:平英司,A02)」,「(1) JSLコーパスの会話分析事例紹介,(2) JSLコーパスELAN分析方法、JSLコーパス内容説明」(話題提供者:坊農真弓,A02);岡田智裕,A02),「消滅危機言語の保存と研究:天草、長崎フィールドワークの報告と意見交換(話題提供者:平英司,A02)」,「手話研究のためのELAN講習会(講師:岡田智裕,A02)」,「消滅危機言語の保存と研究:天草諸島フィールドワークの報告と意見交換(話題提供者:平英司,A02)であった.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

初年度である2022年度に研究領域全体にデータ提供した『日本手話話し言葉コーパス(通称:JSLコーパス)』とは,性別・年代のバランスを取った,日本各地のろう学校出身のろう者122名に参加いただき,日本手話対話の映像データを高性能ビデオカメラ3台と照明を用いて収録した,日本手話初の言語コーパスである.
A02計画班として,コーパスに含まれる映像データとアノテーションデータを外付けHDDに入れて提供する,もしくはSVN(Subversion)を用いて提供する二つの方法を用意した.この結果,前者は人文社会学系研究者,後者は理工学系研究者に有効的に活用された.SVNを利用することによって,言語相互行為研究で一般的に用いられるELANというソフトウェアがグループウェアとして活用しにくい問題点が明らかになった.次年度以降はこのようなデータ提供の問題点をオープンサイエンスの枠組みで議論する予定である.
また,A02が新規に収録予定の次世代手話コーパスとして天草諸島の消滅危機手話言語に焦点を定められるかのフィールドワークを実施した.
以上の研究成果から,本計画研究は当初の計画以上に進展していると評価している.

Strategy for Future Research Activity

本研究課題の核心をなす学術的な「問い」は,類像性(イコン)と指標性(インデックス)に着目した,手話言語独自のマルチモーダル記号論を確立することは可能なのかであった.この問いは,以下の明らかにすべき二つの問題から構成されると考えている,(1)必要となるマルチモーダル記号論はどのようなものになるのか, (2)マルチモーダル記号論は理論的・実践的な既存の言語研究にどのように組み込むことができるのか. これらの理論的な問いについては次年度以降の推進課題である.初年度は我々が所持する『日本手話話し言葉コーパス(通称:JSLコーパス)』のデータ提供,対象を手話母語話者に絞った『日本手話危機言語コーパス』を次世代手話コーパスとして新しく構築することに尽力した.次年度以降は,手話言語の独自性を組み込んだ新しい記号論の構築を実現する.また,欧州で主流の記号と意味を1対1で結びつける方法(例:Signbank)とは異なる,イコンとインデックスを考察する方法で手話語彙ひいては描写手話表現(depicting sign)を含む手話表現全体を整理することに焦点を当てて研究を推進していく予定である.
また,自然言語処理および画像処理分野における機械学習の手法を用いるA03工学班との連携を強化し,従来人手でアノテーションや分析が進められてきた手話言語データの文理融合型共同研究の可能性を模索するつもりである.

Report

(1 results)
  • 2022 Annual Research Report
  • Research Products

    (12 results)

All 2023 2022 Other

All Journal Article (5 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results) (of which Int'l Joint Research: 3 results,  Invited: 2 results) Book (1 results) Remarks (1 results)

  • [Journal Article] 座談会:『認知科学』の過去・現在・未来を語る2023

    • Author(s)
      浅野 倫子・坊農 真弓・川合 伸幸・小橋 康章・森田 純哉・中村 國則・白水 始・創刊30周年記念特集編集編委員会・寺田 和憲・清河 幸子・服部 雅史・布山 美慕・平 知宏
    • Journal Title

      認知科学

      Volume: 30(1) Pages: 89-93

    • Related Report
      2022 Annual Research Report
  • [Journal Article] 「対話・インタラクション」研究の発展と潮流2023

    • Author(s)
      坊農 真弓・今井 倫太
    • Journal Title

      認知科学

      Volume: 30(1) Pages: 37-45

    • Related Report
      2022 Annual Research Report
  • [Journal Article] 第1部 研究編 「認知科学各分野の30年とこれからの展望」 編集にあたって2023

    • Author(s)
      創刊30周年記念特集研究編委員会・日髙 昇平・坊農 真弓・小林 春美,・織田 涼・高橋 康介
    • Journal Title

      認知科学

      Volume: 30(1) Pages: 8-11

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Sign language, what is it? : an ESCAP guide towards legal recognition of sign languages in Asia and the Pacific.2022

    • Author(s)
      Yutaka Osugi , Aiko Akiyama, Yuenwa,San.
    • Journal Title

      United Nations ESCAP

      Volume: -

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Historical relationships between numeral signs in Japanese Sign Language, South Korean Sign Language and Taiwan Sign Language2022

    • Author(s)
      Sagara Keiko
    • Journal Title

      East Asian Sign Linguistics

      Volume: - Pages: 7-36

    • DOI

      10.1515/9781501510243-002

    • ISBN
      9781501510243
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] オンラインクロスサイン:共有表現・共有言語がないろう者同士はいかにしてコミュニケーションするのか―2023

    • Author(s)
      坊農 真弓
    • Organizer
      第47回社会言語科学会研究大会
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] ウィズコロナ・アフターコロナ時代のビデオ電話におけるクロスサイン現象の探究[特別講演]2023

    • Author(s)
      ロバート・アダム, 坊農 真弓
    • Organizer
      第21回手話言語研究セミナー
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] Integrating Historical Sign Language Database Design and Historical Linguistics for Tracing Etymological and Morphological Changes.2023

    • Author(s)
      Ted Supalla, Yutaka Osugi
    • Organizer
      Linguistic Society of America 97th Annual Meeting
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Variation within and between sign languages in Japan, Taiwan and South Korea: The impact of language contact.2022

    • Author(s)
      Keiko Sagara, Nick Palfreyman
    • Organizer
      15th Biennial Desert Linguistics Society (HDLS15)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Diachronic change in Japanese Sign Language, Taiwan Sign Language and South Korean Sign Language: Focus on kinship terms.2022

    • Author(s)
      相良 啓子
    • Organizer
      The 14th Theoretical Issues in Sign Language Research conference (TISLR14).
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Book] 手話言語学のトピック:基礎から最前線へ2023

    • Author(s)
      岡田 智裕
    • Total Pages
      292
    • Publisher
      くろしお出版
    • ISBN
      4874249280
    • Related Report
      2022 Annual Research Report
  • [Remarks] 言語相互行為における身振りと手話を対象とした身体記号学

    • URL

      https://research.nii.ac.jp/EmSemi/index.html

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-05-25   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi