Elucidation of the Syllable Formation Principles of Japanese Sign Language Using Machine Learning Algorithms

• Project/Area Number: 23K25323
• Project/Area Number (Other): 23H00626 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 02060:Linguistics-related; Basic Section 02080:English linguistics-related; Sections That Are Subject to Joint Review: Basic Section02060:Linguistics-related , Basic Section02080:English linguistics-related
• Research Institution: Toyota Technological Institute
• Principal Investigator: 原 大介 豊田工業大学, 工学部, 教授 (00329822)
• Co-Investigator(Kenkyū-buntansha): 三輪 誠 豊田工業大学, 工学(系)研究科(研究院), 准教授 (00529646)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000); Fiscal Year 2026: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2025: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2024: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2023: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
• Keywords: 日本手話 / 機械学習（深層学習） / 適格性 / 音素配列 / 音節 / 機械学習

Outline of Research at the Start

日本手話にも音節に相当する単位が存在し、動き要素、手型要素、位置要素、掌の向き、中手骨の方向等の音節構成要素が同時に組み合わさり形成される。しかし、適格な音節構成要素同士の組み合わせであっても不適格と判定される組み合わせ（不適格音節）が多く存在する。この事実は、音声言語の「音素配列論的制約」に相当する制約が日本手話も存在することを示している。本研究では、適格音節データベースと不適格音節のデータベース（音節構成要素に分解し記号化してエクセルに登録）を使い不適格音節に含まれる不適格性要因の発見・抽出を試みる。その際、機械学習・深層学習の複数のアルゴリズムを積極的に活用する。