| 研究課題/領域番号 |
18K18517
|
|---|
| 研究機関 | 豊田工業高等専門学校 |
|---|
研究代表者 |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| 研究分担者 |
神田 和幸 国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
|
|---|
| 研究期間 (年度) |
2018-06-29 – 2022-03-31
|
| キーワード | 手話認識 / 手話辞書 / 手話文章 / ディープラーニング / 深層学習 |
|---|
| 研究実績の概要 |
本研究では，手話認識システムを搭載した手話単語辞書システムの作製を行っている．平成31年度に改善を行った手話認識エンジン（手話技能検定試験6級レベルの101単語に対して90%以上の認識率）を用いて，令和2年度では，手話辞書システムを構築した．平成31年度にも試作したが，GUIの設計が良くなく，使い勝手が悪かった．そこでGUIを設計し直して，使いやすくし，直感的に利用できるようにした．
このシステムの評価を行ったが，機械学習に使用した動画の撮影環境と，実際にシステムを使用する環境が異なっているため，認識率が落ちることがわかった．そこで，学習用データやシステムを利用するときのユーザの環境を考慮して，前処理を行ってから学習や認識を行うようにした．さらに認識できる単語数を増やすため，学習用データを収集する必要があるが，手間が多く，データセットを用意するのに時間がかかる．そこで既存の動画データを加工（速度，大きさ，人物の位置など）し，少ないデータ数でも認識率が維持できるようにする．これらについては，概ね良好な結果が出ており，改善が期待される．ただ，１つの単語を検索するのに要する時間は数十秒と大きく，これも改善する必要がある．
さらに，単語ではなく，文章を認識するシステムの研究を進めている．音声認識で使用されるCTC（Connectionist Temporal Classification）を適応したところ，手話技能検定試験5級，6級レベルの単語で組み合わせた手話文章に対して，約70%程度の認識が行えるようになった．
今後は，辞書システムの公開を目指してブラッシュアップを行っていく．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
当初は，令和２年度中に辞書システムの公開を目指していたが，試作だけにとどまり，公開には至っていない．今後は，認識できる単語数を増やすとともに公開を目指す．
|
| 今後の研究の推進方策 |
現在，認識できる単語は101語にとどまっている．手話技能検定試験５級（141単語）の動画収集はすでに終えており，学習データ用に整理している．整理が終わり次第，学習を始める．また，手話文章の認識についても学習データを収集している．
どちらもデータ数が膨大なため動画収集や整理に時間がかかる．効率よく収集する方法や少ないデータでも認識率を高める方法の検討を行う．
辞書システムの検索時間を短くする手法を検討，実現する．
|
| 次年度使用額が生じた理由 |
新型コロナウイルス感染症拡大のため，学習データに必要な手話動画の収集が思うように行えなかった．これは，近隣の手話サークルなどに依頼していたが，緊急事態宣言などにより，撮影が行えなかったためである．
そのため，研究の進捗がやや遅れてしまい，さらには，国際会議での発表も行えなかったためである．
今後は，学習用の手話動画データを撮影し，認識できる手話単語数を増やすとともに，手話辞書システムの公開を目指す．
|
