2020 Fiscal Year Annual Research Report
A study on recognition of signs written in SignWriting
| Project/Area Number |
18K11430
|
|---|
| Research Institution | Gifu University |
|---|
Principal Investigator |
松本 忠博 岐阜大学, 工学部, 准教授 (00199879)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
加藤 三保子 豊橋技術科学大学, 総合教育院, 特任教授 (30194856)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | SignWriting / 手話表記法 / 手話単語識別 / 機械学習 / 単語ベクトル |
|---|
| Outline of Annual Research Achievements |
SignWritingは日常生活の中で手話を音声言語に翻訳せず直接読み書きするための書記体系である．手の形や動き，顔の表情などを表す図的な記号を用いて単語を直観的に比較的分かりやすく表すが，表記の揺れが大きいため辞書や文書中の単語を検索するという文書処理の基本操作も単純な比較では実現できない．従来の研究で我々は，記号間の類似度を定義し，単語を構成する記号の類似度と単語内での位置に基づく単語間類似度を定義して単語を識別する手法を考案し，手話文書エディタの手話-日本語辞書機能として実装したが，手の動きの表記揺れには十分対応できていなかった．
平成30年度は単語内の動作記号から単語の動作特徴ベクトルを構成し，ベクトル間のコサイン類似度を単語の動作成分の類似度とする方法を考案した．被験者累計33名による30種類（計406語）の単語表記例を手話辞書から検索する評価実験を行った結果，目的の単語との類似度1位を正解とした場合の正解率は54.8%から74.4%に向上，5位以内を正解とした場合は72.0%から92.1%に向上し，目標とした正解率が得られた．次年度と最終年度は機械学習を用いた識別手法を検討した．令和元年度は単語を構成する記号のカテゴリ，グループ，向きなどの情報を基に単語のベクトル表現を定め，多クラス分類により単語を識別する手法などを試みた．評価実験の結果，表記サンプルがある30単語についてはランダムフォレストによる多クラス分類により80.9%と高い正解率が得られたが，表記例がない単語に対して高い正解率を得ることはできなかった．令和2年度は従来手法で定義した記号間類似度をもとに，記号の埋め込みベクトルを取得し，それに位置情報をエンコードして単語ベクトルを構成し，ベクトル間類似度により単語を識別する手法を考案した．初年度の手法に比べて正解率は劣ったが，検索時間は約40%短縮できた．
|
