Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies

• Project/Area Number: 20H01262
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 02060:Linguistics-related
• Research Institution: Ritsumeikan University
• Principal Investigator: 田中 省作 立命館大学, 文学部, 教授 (00325549)
• Co-Investigator(Kenkyū-buntansha): 本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589) ; バイティガ ザカリ 沖縄工業高等専門学校, メディア情報工学科, 准教授 (40462155) ; 長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2021)
• Budget Amount: ¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000); Fiscal Year 2022: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2021: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000); Fiscal Year 2020: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
• Keywords: 日本手話 / コーパス / 超高解像度カメラ / 映像認識・処理 / 手話検索

Outline of Research at the Start

視覚言語である手話のコーパス構築は，日本語や英語のような音声言語のコーパス構築とは異なり，映像として記録し，処理する新しい技術が求められる．現時点で話者らの負担が少なく，効率的に蓄積し，低コストで検索まで実現する方法論は確立されていない．
そこで本研究は，超高解像度カメラを配した撮影環境を構成し，多人数の話者がいつものように会話する風景から自然発話を収集し，蓄積する．映像に対して，手指，視線，口型といった手話表現の言語的構成素を自動的に同定する．カメラで撮影した手話表現（キー映像）で直接コーパスを検索できるだけでなく，一般の日本語の言語情報も活用し，キー映像の拡張を提案し，検索精度をあげる．