| Project Area | Embodied Semiotics: Understanding Gesture and Sign Language in Language Interaction |
|---|
| Project/Area Number |
22H05012
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (B)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (I)
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高梨 克也 滋賀県立大学, 人間文化学部, 教授 (30423049)
中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
菊地 浩平 筑波技術大学, 産業技術学部, 助教 (60582898)
|
|---|
| Project Period (FY) |
2022-05-20 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2024: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
|
|---|
| Keywords | 身体記号学 / マルチモーダル記号論 / モダリティ横断 / マルチモーダル対話翻訳 / AI / 手話コーパス / 身振りコーパス / 自然言語処理 / 画像処理 / 人工知能 / 形式意味論 / 国際手話 / 身振り / 手話 / 深層学習 / 言語学 / 相互行為研究 / マルチモーダル処理 |
|---|
| Outline of Research at the Start |
本領域研究は，会話における身振りや手話といった，記号としての特徴が未だ明確ではない事象を研究対象に，言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする．領域全体として，音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指す．成果として，マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し，マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする．
|
| Outline of Annual Research Achievements |
本総括班は，本領域研究における情報共有と議論の場を提供する位置付け・役割を担う．具体的な方法として，初年度から最終年度まで一貫して月に一度の公開オンライン会合を実施し，人文系・理工系それぞれにとっての問題意識を共有しつつ，自分とは異なる研究分野の手法や動向についての相互理解を深め，研究領域の推進を安定的に加速させる予定であった．2年目である2023年度は，6月5日-6日に第一回身体記号学国際ワークショップを実施した．本ワークショップには，手話言語処理研究の第一人者の一人であるRichard Bowden教授（サリー大学）を招聘し，言語学と人工知能の融合可能性について有意義な議論を行なった．また，初年度に引き続き計画班代表を集めた総括班ミーティングを８回（うちオンライン7回，対面拡大１回）実施し，領域内のメンバーと研究代表者が対談する「身体記号学ラジオ」を１０回実施した．また，領域内勉強会を３回実施した．具体的な内容は，A02企画「手話コーパスのマニュアルの報告(話題提供者：岡田智裕，A02)」，A02企画「次世代手話コーパスについてのミーティング：天草諸島フィールドワークの報告と意見交換(話題提供者：平英司，A02)」，A02企画「形式意味論国際学会Sinn und Bedeutung，special session：The Semantics and Pragmatics of Co-Speech/Co-Sign Communication報告会(報告者：森一，A02藤川研究室)」であった．また，2023年度の新規の企画として，各研究領域のチュートリアルで構成される「身体記号学セミナー」を３回実施し，「国際手話オンラインレッスン」を３回実施した．さらに，研究代表者の研究室が主催する読書会を領域内に共有した．これらの活動を通し，十分に各研究領域の問題を共有することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本領域は，身体班(A01)，手話班(A02)，工学班(A03)，データ統合班(B01)の4つが融合することによって構成される．2年目である2023年度は，総括班が配布済みの『SCコーパス』『JSLコーパス』を全計画班でアノテーション付与，データ処理，データ分析することを試みた．領域全体として，音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと(以下，モダリティ横断)」を目指している．そして最終年度の研究成果として，マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し，マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にすることを目指している．しかしながら，既存データであるSCコーパスとJSLコーパスが，人工知能研究で近年注目されている大規模言語モデル（LLM)の規模に達していないことから，身体記号学を発展させるための次世代コーパス構築とその公開は容易に達成可能な研究課題ではないことが領域全体の合意として明確になってきた．この理由により，本研究領域はおおむね順調に進展していると評価している．
具体的な研究活動として，2023年度は身体班(A01)は次世代身振りコーパス，手話班(A02)は次世代手話コーパスの構築に着手し，収録を進める予定であった．身体班はSCコーパスにこれまで付与されたアノテーションの不足や改良点を主として議論し，手話班は個人情報保護を考慮しつつ公開可能な『日本手話日常手話会話コーパス』のデザインと収録に注力した．双方のデータ収録に関する議論は，工学班(A03）およびデータ統合班(B01)と常に共有し，データ中心科学としての身体記号学の構築を一丸となって進めている点が高く評価できる．
|
| Strategy for Future Research Activity |
領域代表は，世界に例を見ない共創的文理融合研究の実現を構想している．「共創的」の意味するところは，人文系と理工系が相互の研究領域の問題意識や最新の研究動向を深く理解しながら研究領域を共に作り上げるといったものである．そのための実践的な活動として，今後も月に一度程度の会合(対面・オンライン)を実施し，活発な研究領域の運営を目指す．
国際的な研究動向から見て，まず身振りについて，領域代表兼A02代表の坊農とA01代表の高梨は，『SCコーパス』を共同収録し，発話内容と指さしや視線の向き等の身体動作を手作業でアノテーションし，身体相互行為の分析を進めてきた．これらの事象について，自然言語処理や画像処理の技術を導入することにより定量分析が画期的に促進され，人間の指示表現に関する認知的・社会的なコミュニケーションメカニズムの解明につながるだろうと考えている． 次に手話について，領域代表兼A02代表の坊農とB01代表の菊地は，『JSLコーパス』 に手話言語の手指動作，表情といった非手指動作による言語的要素を手作業でアノテーションし，単語として分節化した動作に日本語の意味を付与し，日本語の文に翻訳する作業を進めて来た．
本研究領域では，記号と対象の関係性を明らかにする言語哲学と，表現と意味を機械処理する自然言語処理アルゴリズムと，OpenPoseやMediaPipeなどの深層学習に基づく画像処理アルゴリズムとの融合によって，身振り研究や手話言語学で大きな足枷となって来た手作業によるアノテーションや翻訳作業の効率化を図ることができるのではないかと考えている． 最終年度は身振りと手話の「指差し」周辺の現象に限定的に着目することにより，本研究領域が立ち上げようとしている「マルチモーダル記号論」の概観を整える予定である．
|
