| 研究課題/領域番号 |
23K17511
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分2:文学、言語学およびその関連分野
|
|---|
| 研究機関 | 豊田工業高等専門学校 |
|---|
研究代表者 |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| 研究分担者 |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
三浦 哲平 豊田工業高等専門学校, 情報工学科, 助教 (20964307)
|
|---|
| 研究期間 (年度) |
2023-06-30 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2025年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2024年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2023年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
|
|---|
| キーワード | 手話認識 / 深層学習 / 自己教師 / データセット / ディープラーニング / 手話 |
|---|
| 研究開始時の研究の概要 |
本研究では，少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し，手話認識システムを開発する．
通常，深層学習では，大量のアノテーション済み学習データが必要である．まずは，日常生活などで自由発話を収録し，バリエーションに富んだ手話データを大量に収集する．しかし，このデータに対して，アノテーションを行うのは非常にコストがかかる．そこでアノテーションを行わずに自己教師あり学習を行うことで，手話認識学習モデルを作成する．これを手話認識に応用することで手話認識精度の向上を目指す．
|
| 研究実績の概要 |
本研究の目的は，手話認識システム開発において，少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し，手話認識システムを開発することである．
本研究を遂行するにあたって，音声認識で行われている自己教師あり学習の手法を参考にする．本研究ではMeta社が開発したdata2vecをベースに開発する．
まず，本研究室が所有する手話動画データをGoogle社が公開しているMediaPipeを使って姿勢推定を行う．そこで得られた関節点などのキーポイントの座標を取得し，これを学習用データとした．
今年度の研究では，data2vecが手話認識にも有効であるかどうかを判断することから始めた．しかし今回の研究では，はっきりと有効であるかどうかの判断ができなかった．これは，data2vecをベースに構築したが，これが手話認識に合わなかったのか，それとも本研究室が所有する手話動画のデータセットでは，データ数が十分だったのかが判別できなかったためである．実験に使用した手話データは，単語や手話文をあわせて，約27,000個であった．そのため自己教師あり学習にはデータ数が足りなかった恐れがある．
日本手話の深層学習向けのデータセットは公開されているものが少なく，海外の手話データセットに比べて貧弱である．まずは海外手話のデータセットを用いて自己教師あり学習の有用性を確認し，並行して日本手話のデータセットを構築する．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
概要でも述べた通り，現状では主だった成果が上がっていない．システムが悪いのか，それともデータセットが少ないのが悪いのか，まずはその原因を究明する必要がある．
|
| 今後の研究の推進方策 |
まずは，データセットとして充実している海外手話のデータセットを用いて，システムの構築を図る．
それと並行して日本手話のデータを収集して，システムに利用し，検証する．
|
