2023 Fiscal Year Research-status Report
Development of a Sign Language Recognition Engine Using Self-Supervised Learning Methods
| Project/Area Number |
23K17511
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
三浦 哲平 豊田工業高等専門学校, 情報工学科, 助教 (20964307)
|
|---|
| Project Period (FY) |
2023-06-30 – 2026-03-31
|
| Keywords | 手話認識 / 深層学習 / 自己教師 / データセット |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，手話認識システム開発において，少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し，手話認識システムを開発することである．
本研究を遂行するにあたって，音声認識で行われている自己教師あり学習の手法を参考にする．本研究ではMeta社が開発したdata2vecをベースに開発する．
まず，本研究室が所有する手話動画データをGoogle社が公開しているMediaPipeを使って姿勢推定を行う．そこで得られた関節点などのキーポイントの座標を取得し，これを学習用データとした．
今年度の研究では，data2vecが手話認識にも有効であるかどうかを判断することから始めた．しかし今回の研究では，はっきりと有効であるかどうかの判断ができなかった．これは，data2vecをベースに構築したが，これが手話認識に合わなかったのか，それとも本研究室が所有する手話動画のデータセットでは，データ数が十分だったのかが判別できなかったためである．実験に使用した手話データは，単語や手話文をあわせて，約27,000個であった．そのため自己教師あり学習にはデータ数が足りなかった恐れがある．
日本手話の深層学習向けのデータセットは公開されているものが少なく，海外の手話データセットに比べて貧弱である．まずは海外手話のデータセットを用いて自己教師あり学習の有用性を確認し，並行して日本手話のデータセットを構築する．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
概要でも述べた通り，現状では主だった成果が上がっていない．システムが悪いのか，それともデータセットが少ないのが悪いのか，まずはその原因を究明する必要がある．
|
| Strategy for Future Research Activity |
まずは，データセットとして充実している海外手話のデータセットを用いて，システムの構築を図る．
それと並行して日本手話のデータを収集して，システムに利用し，検証する．
|
| Causes of Carryover |
計上していたクラウドサーバーが，想定していた以上に現状では低価格となっている．これは，学内で新たにAIサーバーが導入され，それを利用できたことに由来する．
また，動画収集であるが，これについては，現在，どのような動画を用意すると効率よくできるのかを打ち合わせており，動画収集費用はR6年度に繰り越した．
|
