Construction of Large SL (Sign Language) Corpus of Video on Web Using Also AI Technologies: Advances in SL Corpus Linguistics

Research Project

Project/Area Number	23K17273
Research Category	Grant-in-Aid for Challenging Research (Pioneering)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 2:Literature, linguistics, and related fields
Research Institution	Ritsumeikan University
Principal Investigator	田中省作立命館大学, 文学部, 教授 (00325549)
Co-Investigator(Kenkyū-buntansha)	本田久平大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
Project Period (FY)	2023-06-30 – 2027-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥25,740,000 (Direct Cost: ¥19,800,000、Indirect Cost: ¥5,940,000) Fiscal Year 2026: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000) Fiscal Year 2025: ¥7,150,000 (Direct Cost: ¥5,500,000、Indirect Cost: ¥1,650,000) Fiscal Year 2024: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000) Fiscal Year 2023: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Keywords	日本手話 / 非手指要素 / 手話映像処理 / Web手話映像 / スクレイピング / コーパス / 手話映像 / Web / 手話映像同定
Outline of Research at the Start	視覚言語である手話の研究においても，機械可読の大規模用例集（コーパス）の重要性が高まっている．しかし，話者の少なさ，コミュニティの小ささ，映像として記録される特異性，映像内の多様な情報の混濁といった問題から，大規模化は容易でない．そこで，本研究は日本手話を念頭に，Web上の手話映像にまで対象を広げ，日本手話映像コーパスの構築のための方法論を確立する．AI技術を活用し，Web上の手話映像を正しく集め，映像内の手話会話部分の同定や情報付与，個人情報などを制御し，今までにない規模の手話コーパスの構築を試みる．研究事例を蓄積し，開発したプログラム群を公開することで，手話研究の進展を誘引する．
Outline of Annual Research Achievements	研究計画に従い、次の3テーマを重点的に推進した。 1. 手話映像内の同定すべき言語要素の精密化：手話では、手指・腕の他にも表情や顔の傾き・前後への動きなどの非手指要素も重要な役割を果たしている。これまで我々の研究では、主に手指腕部に焦点を当てており、とくに顔やその周縁にかかわる情報は十分ではなかった。ここでは、表情や顔の動作なども含め、どういった点を同定すべき言語要素として加えるか、新たに検討を加えた。表情は眉・目・口の変化や、顔は傾きや前後の位置などに帰着することで、機械的な取り扱うこととした。 2. 再策定した言語要素の自動的な同定のための技術開発：新たに加わった言語要素（表情や顔の動作を構成する諸要素）を手話映像内において自動的に同定するための技術開発を進めた。眉・目・口の変化など、基本的には個人個人の最も平均的な状態を基準として与える必要があった。また、映像の解像度の問題から、顔など詳密にとらえられない問題などもある。顔の前後の動作などは、2次元映像に対する3次元位置の推定など、素直に適用できれば良いが、実際にはそこまで精度良くは推定されない。顔の大きさの変化に近似するなどで代替する方法を検討した。 3. Web上の手話映像のスクレイピング：Web上の手話映像を、一般には短い注釈・説明から効率よく見つける工夫を施した。手話動画に付された注釈を元に、派生的にキーワードを増やしていく方法で、相当量の手話映像が検出できることがわかり、スクレイピングも可能である。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本課題で注目する一部の非手指要素をとらえるための理論的な枠組みについては、おおむね議論済みである。実装部分については、実験的な検証が未達である点もあるものの、基盤的な技術の導入はなされた。
Strategy for Future Research Activity	ここまでの議論や作業の成果を、学会発表などで公開する。