Multimodal Semiotics for Icons and Indexes in Sign Language
| Project Area | Embodied Semiotics: Understanding Gesture and Sign Language in Language Interaction |
|---|
| Project/Area Number |
22H05014
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (B)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (I)
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原田 なをみ 東京都立大学, 人文科学研究科, 教授 (10374109)
藤川 直也 東京大学, 大学院総合文化研究科, 准教授 (40749412)
大杉 豊 筑波技術大学, 障害者高等教育研究支援センター, 教授 (60451704)
相良 啓子 大学共同利用機関法人人間文化研究機構国立国語研究所, 研究系, 特別研究員(PD) (90748724)
|
|---|
| Project Period (FY) |
2022-05-20 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥35,230,000 (Direct Cost: ¥27,100,000、Indirect Cost: ¥8,130,000)
Fiscal Year 2024: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000)
Fiscal Year 2023: ¥12,610,000 (Direct Cost: ¥9,700,000、Indirect Cost: ¥2,910,000)
Fiscal Year 2022: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000)
|
|---|
| Keywords | イコン / インデックス / シンボル / 言語研究 / 手話 / 言語 / 日本手話 / 統語論 / 意味論 / 語用論 / 当事者研究 / コーパス |
|---|
| Outline of Research at the Start |
本計画研究の目的は，類像性（イコン）と指標性（インデックス）に着目した，手話言語独自のマルチモーダル記号論の確立可能性を証明することである．具体的には，(1)既存のデータを用い，統語論・意味論・語用論，ろう者学の4つの方法で手話言語の類像性と指標性のマルチモーダル記号論的記述を試み， (2)手話言語の独自性を組み込んだ新しい記号論の構築を実現する．また，(3)欧州で主流の記号と意味を1対1で結びつける方法とは異なる，イコンとインデックスを考察する方法で手話語彙ひいては描写手話表現を含む手話表現全体を整理する．また，(4)対象を手話母語話者に絞った『日本手話危機言語コーパス』を新しく構築する．
|
| Outline of Annual Research Achievements |
本計画研究の目的は，類像性（イコン）と指標性（インデックス）に着目した，手話言語独自のマルチモーダル記号論の確立可能性を証明することであった．具体的には次の二つの研究活動を進める計画をしていた．(1)我々が所持する『日本手話話し言葉コーパス（通称：JSLコーパス）』を用い，統語論・意味論・語用論，ろう者学の4つの方法で手話言語の類像性と指標性のマルチモーダル記号論的記述を試み， (2)手話言語の独自性を組み込んだ新しい記号論の構築を実現する．また，(3)欧州で主流の記号と意味を1対1で結びつける方法（例：Signbank）とは異なる，イコンとインデックスを考察する方法で手話語彙ひいては描写手話表現（depicting sign）を含む手話表現全体を整理する．また，(4)対象を手話母語話者に絞った『日本手話危機言語コーパス』を次世代手話コーパスとして新しく構築する．
初年度である2022年度は，主として(1)を『日本手話話し言葉コーパス』を共有することによって精力的に進め，(4)の次世代手話コーパスのデザインについての議論を開始した．具体的な活動としては，A02の企画として研究領域全体に向けて次の議論の場を提供した：「消滅危機言語についての報告会と意見交換（話題提供者：平英司，A02)」，「(1) JSLコーパスの会話分析事例紹介，(2) JSLコーパスELAN分析方法、JSLコーパス内容説明」（話題提供者：坊農真弓，A02)；岡田智裕，A02），「消滅危機言語の保存と研究：天草、長崎フィールドワークの報告と意見交換（話題提供者：平英司，A02)」，「手話研究のためのELAN講習会（講師：岡田智裕，A02)」，「消滅危機言語の保存と研究：天草諸島フィールドワークの報告と意見交換（話題提供者：平英司，A02)であった．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
初年度である2022年度に研究領域全体にデータ提供した『日本手話話し言葉コーパス（通称：JSLコーパス）』とは，性別・年代のバランスを取った，日本各地のろう学校出身のろう者122名に参加いただき，日本手話対話の映像データを高性能ビデオカメラ3台と照明を用いて収録した，日本手話初の言語コーパスである．
A02計画班として，コーパスに含まれる映像データとアノテーションデータを外付けHDDに入れて提供する，もしくはSVN（Subversion)を用いて提供する二つの方法を用意した．この結果，前者は人文社会学系研究者，後者は理工学系研究者に有効的に活用された．SVNを利用することによって，言語相互行為研究で一般的に用いられるELANというソフトウェアがグループウェアとして活用しにくい問題点が明らかになった．次年度以降はこのようなデータ提供の問題点をオープンサイエンスの枠組みで議論する予定である．
また，A02が新規に収録予定の次世代手話コーパスとして天草諸島の消滅危機手話言語に焦点を定められるかのフィールドワークを実施した．
以上の研究成果から，本計画研究は当初の計画以上に進展していると評価している．
|
| Strategy for Future Research Activity |
本研究課題の核心をなす学術的な「問い」は，類像性（イコン）と指標性（インデックス）に着目した，手話言語独自のマルチモーダル記号論を確立することは可能なのかであった．この問いは，以下の明らかにすべき二つの問題から構成されると考えている，(1)必要となるマルチモーダル記号論はどのようなものになるのか, (2)マルチモーダル記号論は理論的・実践的な既存の言語研究にどのように組み込むことができるのか． これらの理論的な問いについては次年度以降の推進課題である．初年度は我々が所持する『日本手話話し言葉コーパス（通称：JSLコーパス）』のデータ提供，対象を手話母語話者に絞った『日本手話危機言語コーパス』を次世代手話コーパスとして新しく構築することに尽力した．次年度以降は，手話言語の独自性を組み込んだ新しい記号論の構築を実現する．また，欧州で主流の記号と意味を1対1で結びつける方法（例：Signbank）とは異なる，イコンとインデックスを考察する方法で手話語彙ひいては描写手話表現（depicting sign）を含む手話表現全体を整理することに焦点を当てて研究を推進していく予定である．
また，自然言語処理および画像処理分野における機械学習の手法を用いるA03工学班との連携を強化し，従来人手でアノテーションや分析が進められてきた手話言語データの文理融合型共同研究の可能性を模索するつもりである．
|
Report
(1 results)
Research Products
(12 results)
