2019 Fiscal Year Research-status Report

手話認識システムを利用した手手辞典の開発と手話による百科事典の提案

Research Project

Project/Area Number	18K18517
Research Institution	National Institute of Technology, Toyota College
Principal Investigator	木村勉豊田工業高等専門学校, 情報工学科, 教授 (80225044)
Co-Investigator(Kenkyū-buntansha)	神田和幸国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
Project Period (FY)	2018-06-29 – 2021-03-31
Keywords	手話 / 認識 / ディープラーニング / 深層学習 / 辞書 / オンライン
Outline of Annual Research Achievements	本研究では，手話認識システムを搭載した手話単語辞書の作製を目指している．昨年度は手話認識エンジンの試作を行い，手話技能検定試験6級レベルの単語（101単語）に対して75%の認識ができた．今年度は，まずデータセットの整理を行った．昨年度使用したデータセットを見直したところ，一部不良のデータがあった．また，１単語あたりの動画数もばらつきがあった．そこで不良データを削除するとともに，動画数を１単語につき100個用意した．その結果，84%の認識率が得られた．次にニューラルネットワークの構成を見直した．特に出力層の活性化関数を変更したところ認識率が94%に向上した．これとは別に，誤認識の原因の一つに，奥行き情報が無いためであると考えた．そこでカメラで撮影した2次元情報から奥行きを推定し，この情報を付加したデータを用いて学習させた．しかしながら，それほど，改善が見られなかった．2次元画像からでも十分な認識率が得られているので，この手法は一旦取りやめることにする．次にこの学習データをベースに手話辞書の試作を行った．これはWeb上に構築したシステムである．利用者は，自身が行った手話を撮影し，それをアップロードすると，システムでは確率の高い順に候補の一覧を提示する．一覧にある単語名をクリックすることで，調べたい単語かどうかを判断することができる．また，一つ先に進んで手話文章を認識するシステムの研究を始めた．手始めに手話文章から手話単語を抽出する試作システムを作成した．数単語であるが，抽出できることを確認したので，今後は手話文章の認識も行っていく．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 手話技能検定6級レベルではあるが，高い認識率を持つ手話辞書システムの試作ができた．また，手話単語だけでなく，手話文章の認識についてもその方針が確立した．
Strategy for Future Research Activity	今後は単語の種類を増やすとともに，一般に公開して評価を得る必要がある．また，手話文章の認識についても研究を進める．
Causes of Carryover	当該年度に行う予定であった，手話動画収集がコロナウイルス感染症の影響のため，延期されたためである．コロナウイルス感染症が終息すれば，手話動画収集を早急に実施する予定である．