一人称視点映像を用いた手話対話の支援技術および記録技術基盤の構築

• 研究課題/領域番号: 23K11197
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分61020:ヒューマンインタフェースおよびインタラクション関連
• 研究機関: 名古屋工業大学
• 研究代表者: 酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
• 研究期間 (年度): 2023-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2025年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2024年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円); 2023年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
• キーワード: 手話 / 全方位カメラ / 手話認識 / ボディトラッキング

研究開始時の研究の概要

手話者視点の全方位カメラによって手話者の身体動作を追跡するポーズ推定技術を核とし、それに基づいた手話対話を支援するための新たな手話認識技術と、手話対話における空間的情報をくまなく記録する新たな手法の実現を目的とする。手話者の視点から得られる空間情報と手話者の身体動作情報を活用することで、文レベルの手話認識だけでなく、対話の相手とのインタラクションや対話理解の支援が可能となり、聴覚障害者が自ら積極的な意思疎通を行うための支援システムの実現に寄与する。この技術は、手話の身体動作だけでなく手話者本人の視点や指差し方向など空間全体の情報を簡便なデータ化に貢献し、言語資源の蓄積にも寄与するものである。