2018 Fiscal Year Research-status Report
手話認識システムを利用した手手辞典の開発と手話による百科事典の提案
| Project/Area Number |
18K18517
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
神田 和幸 国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 手話 / 認識 / ディープラーニング / 深層学習 / 辞書 |
|---|
| Outline of Annual Research Achievements |
平成３０年度は，機械学習を用いて手話単語を学習させ，人の動きから特定の手話単語を認識できるようにすることを目標とした．
まず，いくつかの手話サークルに依頼し，対象とする手話単語の収集を行なった．手話単語は手話技能検定試験６級１０１単語を対象とし，１単語につき１００個程度，合計10,000個以上の画像データを収集した．手話表現の始まりから終わりまでの期間，人の肩から手首までの関節と両手の関節部分を取得し，それぞれの点においてx，y座標を1フレームごとに取得したデータの集合をCSV形式ファイルとして作成した．データの約９０%を学習データ，残りの約１０％をテストデータとしてクロスバリデーションを行う．学習には再帰型ニューラルネットワークを構築して行なった．
その結果，認識精度は約75%となった．学習データとして人の関節データを用いたが，類似している手話表現において誤認識が起こっていた．認識ができなかった部分について，その原因を検討したところ，手型の認識不足（例：撮影時のブレによって一と二の区別ができていない）と前後の動きの認識不足が挙げられる．これらを解決する方法としては，カメラのシャッタースピードを上げる．３次元データの収集などがある．
これらの研究成果については，すでに研究会で発表を行い，国際会議(AAATE2019)においても発表を行う．
2019年度は，これらも問題を解決すると共に，手話単語の種類を増やしていく．さらに手手辞典の試作を行う．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画通り，手話技能検定試験6級レベルの認識が行えた．
ディープラーニングを行なったとき，予想よりも少ないデータ数で収束した．当初は，１単語当たり，100程度でも少ないと予想していたが，これよりも遥かに少ないデータ数で収束することがわかった．
|
| Strategy for Future Research Activity |
大量の動画データの収集，分類，機械学習といった一連の流れについてノウハウが得られたので，2019年度以降はより一層研究が進むと考えられる．
2019年度は5級レベルを対象にするが，更に語彙を増やすことも考える．
また，6級レベルの手手辞書の試作を行う．
|
| Causes of Carryover |
手話収集にかかる謝金が，予定より少ない支出となった．これは，当初想定していたデータ数よりも少ない数で学習が進んだ結果による．また，収集に伴う出張も少なくなった．
2019年度は，認識できる手話の数を増やすため，データ数よりも単語の種類を増やす方向に向ける．そのための謝金や機械学習を加速させるためのディープラーニング用のPCの購入に充てる．
|
