| 研究課題/領域番号 |
18K11430
|
|---|
| 研究機関 | 岐阜大学 |
|---|
研究代表者 |
松本 忠博 岐阜大学, 工学部, 准教授 (00199879)
|
|---|
| 研究分担者 |
加藤 三保子 豊橋技術科学大学, 総合教育院, 教授 (30194856) [辞退]
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 手話表記法 / SignWriting / 単語認識 / 機械学習 |
|---|
| 研究実績の概要 |
本研究ではSignWriting（SW）で表記された手話単語の識別手法を検討している。2019年度は機械学習を利用した単語識別手法の検討に着手した。
SWでは，手の形や動き，顔の表情，腕などを表す記号を2次元的に配置して単語を書き表す。これまでに，比較対象となる2つの単語を構成する各記号間の類似度を，各記号に付与されたSSSと呼ばれる6項組と単語内でのその記号の相対位置をもとに算出し，2つの単語間で記号間類似度の平均値が最も高くなる記号の対応を求め，その値を単語間の類似度とした。2019年度は機械学習を用いる手法として，(1)単語に含まれる記号のSSSと位置を特徴量とした多クラス分類による単語識別，(2)単語を画像データとして扱った場合の多クラス分類による単語識別，(3)ベクトル化とした記号を用いた単語識別を試みた。(1)のSSSを特徴量とする多クラス分類では，単語を構成する各記号をSSSと座標からなる8次元ベクトルで表し，単語は頭部記号2つ，手形記号5つ，動作記号5つ，その他の記号2つ分の合計14×8＝112次元の特徴ベクトルで表現した。評価実験には30種類の手話単語を33名の被験者が表記した計406語の表記データを用いた。手形記号の類似記号での置き換えによるデータの拡張を行い，訓練データ4955件，テストデータ551件を得た。3層のMLPによる評価実験では正解率70.0%，ランダムフォレストによる多クラス分類では正解率80.9%となった。(2)の単語の画像データをCNNにより多クラス分類した結果は，正解率62.0%であった。(3)では，Word2Vecによる単語のベクトル化を参考に，ニューラルネットワークによる記号のベクトル化手法を導入した。記号のコサイン類似度を用いて前年度と同様に単語類似度を算出した結果，類似度1位を正解とした場合の正解率は53.3%であった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
単語検索時に5つの候補をあげ，その中に平均90%以上の割合で正解が含まれるようにすることを当面の目標としたが，2018年度の研究の成果により，日本手話の30種類の単語を対象とした評価実験では一応この目標を達成している。2019年度は機械学習を用いたSignWriting表記の手話単語の識別手法の検討に着手した。単語を構成する記号の情報を特徴量とする多クラス分類による手法では，ランダムフォレストを用いた場合に比較的良い結果が得られている。それに比べてMLPを用いた場合の正解率は良くないが，それでも手話単語を画像として扱った場合よりもよい結果が得られることが確かめられた。単語間の類似度を機械学習を使って求める手法についても検討を進めており，2019年度は単語内の記号をニューラルネットワークを用いてベクトル化することを試みた。正解率はまだ低いが，単語を構成する記号間の類似度を求める機械学習手法についてはある程度の見通しが得られた。
|
| 今後の研究の推進方策 |
2020年度は，引き続き機械学習を用いた単語識別手法の検討を行う。機械学習では訓練データの量が重要だが，手話単語の表記データは400余りと少量であるため，2019年度は単語を構成する手形記号の1つを，類似した別の記号に置き換えることと，記号の位置をずらすことでデータ拡張を行った。今年度は，手形記号以外の記号の置き換えや，複数単位での記号置き換えによるデータ拡張についても検討する。また，多クラス分類による手法では，辞書に単語が追加された場合や，日本手話以外の手話を対象にした場合に，訓練をやり直す必要がある。そのような再訓練を必要としない識別手法として，単語を構成する記号間の類似度と，それをもとにした単語のベクトル化方法，単語間類似度の取得手法についても検討を進め，識別精度の向上を図る。
|
