2022 Fiscal Year Annual Research Report
Building an academic community and network for the establishment of embodied semiotics
| Project Area | Embodied Semiotics: Understanding Gesture and Sign Language in Language Interaction |
|---|
| Project/Area Number |
22H05012
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高梨 克也 滋賀県立大学, 人間文化学部, 教授 (30423049)
中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
菊地 浩平 筑波技術大学, 産業技術学部, 助教 (60582898)
|
|---|
| Project Period (FY) |
2022-05-20 – 2025-03-31
|
| Keywords | 手話コーパス / 身振りコーパス / 深層学習 / 言語学 / 相互行為研究 / 自然言語処理 / 画像処理 / マルチモーダル処理 |
|---|
| Outline of Annual Research Achievements |
本総括班は，本領域研究における情報共有と議論の場を提供する位置付け・役割を担う．具体的な方法として，初年度から最終年度まで一貫して月に一度の公開オンライン会合を実施し，人文系・理工系それぞれにとっての問題意識を共有しつつ，自分とは異なる研究分野の手法や動向についての相互理解を深め，研究領域の推進を安定的に加速させる予定であった．初年度である2022年度は，公開イベントとして，7月22日に「学術変革領域研究(B)」新規採択研究領域 「身体記号学」のキックオフミーティングを実施し，76名の参加があった．また2月17日にオンライン研究会 「コーパスの構築・利用と個人情報保護」を実施し，124名の参加があった．計画班代表を集めた総括班ミーティングを7回実施し，領域内のメンバーと研究代表者が対談する「身体記号学ラジオ」を7名実施した．また，領域内勉強会を6回実施した．具体的な内容は，A02企画「消滅危機言語についての報告会と意見交換（話題提供者：平英司，A02)」，A02企画「(1) JSLコーパスの会話分析事例紹介，(2) JSLコーパスELAN分析方法、JSLコーパス内容説明」（話題提供者：坊農真弓，A02)；岡田智裕，A02），A01・B01企画 「未来館コーパスの紹介（話題提供者：坂井田瑠衣，A01；牧野遼作，B01)」，A02企画「消滅危機言語の保存と研究：天草、長崎フィールドワークの報告と意見交換（話題提供者：平英司，A02)」，A02企画「手話研究のためのELAN講習会（講師：岡田智裕，A02)」，A02企画「消滅危機言語の保存と研究：天草諸島フィールドワークの報告と意見交換（話題提供者：平英司，A02)であった．これらの活動を通し，十分に各研究領域の問題を共有することができた．また，2023年6月実施予定だった第一回身体記号学国際ワークショップの準備も進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本領域は，身体班(A01)，手話班(A02)，工学班(A03)，データ統合班(B01)の4つが融合することによって構成される．初年度は，総括班が『SCコーパス』『JSLコーパス』を全計画班のデータ提供することから共同研究のプラットフォームを構築することを試みた．2022年4月に個人情報保護法が大きく改正された影響で，その対応に左右される側面が大きかったが，無事にデータ提供を終え，研究領域全体で研究の活性化を試みた．人文社会科学系・理工系のデータ共有の方法は全く異なるが，総括班がその差異を把握し，異分野融合可能な研究環境を整えることに成功した．この理由により，本研究領域は当初の計画以上に進展していると評価している．
『SCコーパス』とは日本科学未来館の科学コミュニケータ（以下 SC）15名が来館者に展示説明を行う場面を収録したもので，対象展示エリアを一時的にパーティションで区切り，事前に収録の説明をして同意を得た来場者に限りエリアに入っていただき収録を開始している．1セッション（1組）あたりの所要時間は平均14分30秒程度，合計35 セッション（SC1名あたり2～3セッション，来館者計75名）で計 8 時間超の展示説明活動を収めている．各セッションを1台の手持ちビデオカメラ，5台の固定ビデオカメラとKinect，4本の指向性ガンマイクで収録している. 全体に対して発話内容の書き起こしと，一部に対して実験的に指さしや視線の向き等の身振り，相互行為のアノテーションを人手で付与している．『JSLコーパス』とは性別・年代のバランスを取った，日本各地のろう学校出身のろう者122名に参加いただき，日本手話対話の映像データを高性能ビデオカメラ3台と照明を用いて収録した，日本手話初の言語コーパスである．
初年度は，これらの二つのコーパスを有効活用し議論することができた．
|
| Strategy for Future Research Activity |
領域代表は，世界に例を見ない共創的文理融合研究の実現を構想している．「共創的」の意味するところは，人文系と理工系が相互の研究領域の問題意識や最新の研究動向を深く理解しながら研究領域を共に作り上げるといったものである．人文系と理工系の関わりがこれまでもあった日本国内の言語学・言語処理研究では，世界に例を見ない共創的文理融合研究の実現可能性が他の分野に比べて高い．そのための実践的な活動として，今後も月に一度程度の会合(対面・オンライン)を実施し，活発な研究領域の運営を目指す．
国際的な研究動向から見て，本研究領域はすでに社会的・技術的に価値があるデータセットが収録・整備されている点など，非常に具体性を持った文理融合研究を進める準備がある部分で優位性が高い．また一般的に研究者にはそれぞれに追求すべき研究課題があり，個別の研究分野で活動することが多い．しかしながら，日本の言語学者，言語哲学者，自然言語処理研究者は，「言語」という人間固有の能力に焦点を当て，双方の研究分野で共同研究を進めてきた長年の実績がある．本領域研究では，この既存の枠組みに深層学習を用いる画像処理研究者が加わることにより，国内外に例を見ない独創性・新規性を有する研究領域になると期待される．
今後の研究の方策としては，人間の言語活動における意味理解の認知メカニズムを重視した「マルチモーダル記号論の確立」と，次世代コーパス開発，自然言語処理および画像処理の深層学習を用いた「モダリティ横断の技術開発」を両輪とし，研究領域の推進に努める．
また領域代表は，柔軟性と包括力を備えた女性リーダーとして，伝統的言語研究と最先端の人工知能研究が有機的に結びつく文理融合研究の模範例を示すことを目指す．
|
