2021 Fiscal Year Research-status Report
手話認識システムを利用した手手辞典の開発と手話による百科事典の提案
| Project/Area Number |
18K18517
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
神田 和幸 国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
|
|---|
| Project Period (FY) |
2018-06-29 – 2023-03-31
|
| Keywords | 手話認識 / 手話辞書 / 手話文章 / ディープラーニング / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，手話認識システムを搭載した手話単語辞書システムの作製を行っている．
令和２年度までの研究で，スタンドアロンタイプの手話辞書システムのプロトタイプができており，これをオンラインタイプに対応させることにした．オンラインシステムは，最低限ではあるが，辞書システムとしての動作確認ができている．今後はGUIなどの整備を行う．
内部的には，まず認識できる手話単語を101語から175語に増加した．また，これまでの手話認識エンジンでは，手話動画を入力してから認識するまでに数十秒かかっていたが，姿勢推定エンジンを変更することで，数秒で行えるようになった．さらに手話動画を認識させる前処理として，利用者の撮影環境に左右されないように，自分の位置や大きさを正規化させる前処理を行うことで，認識率を上げることができた．
追加機能としては，手話学習アプリとしても利用できるように，問題の検討と作成を行った．また単語だけでなく指文字への対応も検討しており，すでに研究を開始している．
単語だけでなく，手話文の認識についても引き続き研究を行っている．手話文に対しては，これまでのCTCの他にCNNとTransformerを組み合わせたConformerを適応させて，その精度を確認した．
また，手話文での認識率を上げるためには同形異義語に対応させる必要がある．手話では同じ表現でも意味が異なる単語が多くある．これを区別するためには，口の動きを読み取って認識させる方法で対応する．この研究についてもすでに開始している．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
手話辞書システムのオンラインへの実装は，バックエンドとフロントエンドの分離への対応がうまくいかず，やや遅れてしまった．しかし，実装の目処がついたので，早々に実装する．
また，手話単語の語彙数の増加については，コロナのため，モデルを集めての動画収集が遅れてしまった．
|
| Strategy for Future Research Activity |
手話辞書システムのGUIの実装を行って，早急に公開して一般からの評価を得る．
また，対応する単語数についても増加させるべく，学習用データの収集を行う．
最後に，本研究のまとめとして，学会発表を行う．
|
| Causes of Carryover |
新型コロナウイルス感染症の影響により，手話動画収集が思うように進まなかったことと，学会発表などの出張が行えなかったことによる．
今後は，対応する単語数について増加させるため，昨年度行えなかった学習用データの収集を行う．
また，システム公開用サーバーに使用する．
|
