| 研究課題/領域番号 |
18K18517
|
|---|
| 研究機関 | 豊田工業高等専門学校 |
|---|
研究代表者 |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| 研究分担者 |
神田 和幸 国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
|
|---|
| 研究期間 (年度) |
2018-06-29 – 2021-03-31
|
| キーワード | 手話 / 認識 / ディープラーニング / 深層学習 / 辞書 / オンライン |
|---|
| 研究実績の概要 |
本研究では，手話認識システムを搭載した手話単語辞書の作製を目指している．昨年度は手話認識エンジンの試作を行い，手話技能検定試験6級レベルの単語（101単語）に対して75%の認識ができた．
今年度は，まずデータセットの整理を行った．昨年度使用したデータセットを見直したところ，一部不良のデータがあった．また，１単語あたりの動画数もばらつきがあった．そこで不良データを削除するとともに，動画数を１単語につき100個用意した．その結果，84%の認識率が得られた．次にニューラルネットワークの構成を見直した．特に出力層の活性化関数を変更したところ認識率が94%に向上した．
これとは別に，誤認識の原因の一つに，奥行き情報が無いためであると考えた．そこでカメラで撮影した2次元情報から奥行きを推定し，この情報を付加したデータを用いて学習させた．しかしながら，それほど，改善が見られなかった．2次元画像からでも十分な認識率が得られているので，この手法は一旦取りやめることにする．
次にこの学習データをベースに手話辞書の試作を行った．これはWeb上に構築したシステムである．利用者は，自身が行った手話を撮影し，それをアップロードすると，システムでは確率の高い順に候補の一覧を提示する．一覧にある単語名をクリックすることで，調べたい単語かどうかを判断することができる．
また，一つ先に進んで手話文章を認識するシステムの研究を始めた．手始めに手話文章から手話単語を抽出する試作システムを作成した．数単語であるが，抽出できることを確認したので，今後は手話文章の認識も行っていく．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
手話技能検定6級レベルではあるが，高い認識率を持つ手話辞書システムの試作ができた．
また，手話単語だけでなく，手話文章の認識についてもその方針が確立した．
|
| 今後の研究の推進方策 |
今後は単語の種類を増やすとともに，一般に公開して評価を得る必要がある．
また，手話文章の認識についても研究を進める．
|
| 次年度使用額が生じた理由 |
当該年度に行う予定であった，手話動画収集がコロナウイルス感染症の影響のため，延期されたためである．
コロナウイルス感染症が終息すれば，手話動画収集を早急に実施する予定である．
|
