Development of a Sign Language Recognition Engine Using Self-Supervised Learning Methods
| Project/Area Number |
23K17511
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 2:Literature, linguistics, and related fields
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
三浦 哲平 豊田工業高等専門学校, 情報工学科, 助教 (20964307)
|
|---|
| Project Period (FY) |
2023-06-30 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2025: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 手話認識 / 深層学習 / 自己教師 / データセット / ディープラーニング / 手話 |
|---|
| Outline of Research at the Start |
本研究では，少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し，手話認識システムを開発する．
通常，深層学習では，大量のアノテーション済み学習データが必要である．まずは，日常生活などで自由発話を収録し，バリエーションに富んだ手話データを大量に収集する．しかし，このデータに対して，アノテーションを行うのは非常にコストがかかる．そこでアノテーションを行わずに自己教師あり学習を行うことで，手話認識学習モデルを作成する．これを手話認識に応用することで手話認識精度の向上を目指す．
|
| Outline of Annual Research Achievements |
本研究の目的は，手話認識システム開発において，少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し，手話認識システムを開発することである．
本研究を遂行するにあたって，音声認識で行われている自己教師あり学習の手法を参考にする．本研究ではMeta社が開発したdata2vecをベースに開発する．
まず，本研究室が所有する手話動画データをGoogle社が公開しているMediaPipeを使って姿勢推定を行う．そこで得られた関節点などのキーポイントの座標を取得し，これを学習用データとした．
今年度の研究では，data2vecが手話認識にも有効であるかどうかを判断することから始めた．しかし今回の研究では，はっきりと有効であるかどうかの判断ができなかった．これは，data2vecをベースに構築したが，これが手話認識に合わなかったのか，それとも本研究室が所有する手話動画のデータセットでは，データ数が十分だったのかが判別できなかったためである．実験に使用した手話データは，単語や手話文をあわせて，約27,000個であった．そのため自己教師あり学習にはデータ数が足りなかった恐れがある．
日本手話の深層学習向けのデータセットは公開されているものが少なく，海外の手話データセットに比べて貧弱である．まずは海外手話のデータセットを用いて自己教師あり学習の有用性を確認し，並行して日本手話のデータセットを構築する．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
概要でも述べた通り，現状では主だった成果が上がっていない．システムが悪いのか，それともデータセットが少ないのが悪いのか，まずはその原因を究明する必要がある．
|
| Strategy for Future Research Activity |
まずは，データセットとして充実している海外手話のデータセットを用いて，システムの構築を図る．
それと並行して日本手話のデータを収集して，システムに利用し，検証する．
|
Report
(1 results)
Research Products
(6 results)
