Development of a Sign Language Recognition Engine Using Self-Supervised Learning Methods

• Project/Area Number: 23K17511
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 2:Literature, linguistics, and related fields
• Research Institution: National Institute of Technology, Toyota College
• Principal Investigator: 木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
• Co-Investigator(Kenkyū-buntansha): 酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791) ; 三浦 哲平 豊田工業高等専門学校, 情報工学科, 助教 (20964307)
• Project Period (FY): 2023-06-30 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000); Fiscal Year 2025: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
• Keywords: 手話認識 / 自己教師 / 深層学習 / ディープラーニング / 手話

Outline of Research at the Start

本研究では，少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し，手話認識システムを開発する．
通常，深層学習では，大量のアノテーション済み学習データが必要である．まずは，日常生活などで自由発話を収録し，バリエーションに富んだ手話データを大量に収集する．しかし，このデータに対して，アノテーションを行うのは非常にコストがかかる．そこでアノテーションを行わずに自己教師あり学習を行うことで，手話認識学習モデルを作成する．これを手話認識に応用することで手話認識精度の向上を目指す．