マルチモーダル大規模言語モデルを活用した手話翻訳システムの検討

• 研究課題/領域番号: 24K14243
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分59010:リハビリテーション科学関連
• 研究機関: 筑波技術大学
• 研究代表者: 白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2026年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2025年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2024年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
• キーワード: 手話 / 大規模言語モデル / マルチモーダル / ろう・難聴者

研究開始時の研究の概要

本研究では、高精度の手話翻訳システム実現のため、手話データの不足と手話言語モデルの不在という課題の解決を目指す。手話データの不足については、Web上の手話動画を効率的に収集・コーパス化し、事前学習済みの大規模言語モデル(LLM)を活用することで、データ不足の補完を図る。手話言語モデルの不在に対しては、マルチモーダルLLMを活用し、手話動画を直接取り扱えるようにするとともに、手話言語特有の同時的・空間的文法構造を反映可能なネットワーク構造と学習アルゴリズムを検討することで、新たな手話言語モデルの構築を試みる。