Exploring Sign Language Translation Systems Utilizing Multimodal Large-scale Language Models

• Project/Area Number: 24K14243
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 59010:Rehabilitation science-related
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2024: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
• Keywords: 手話 / 大規模言語モデル / マルチモーダル / ろう・難聴者

Outline of Research at the Start

本研究では、高精度の手話翻訳システム実現のため、手話データの不足と手話言語モデルの不在という課題の解決を目指す。手話データの不足については、Web上の手話動画を効率的に収集・コーパス化し、事前学習済みの大規模言語モデル(LLM)を活用することで、データ不足の補完を図る。手話言語モデルの不在に対しては、マルチモーダルLLMを活用し、手話動画を直接取り扱えるようにするとともに、手話言語特有の同時的・空間的文法構造を反映可能なネットワーク構造と学習アルゴリズムを検討することで、新たな手話言語モデルの構築を試みる。