| 研究課題/領域番号 |
18K11430
|
|---|
| 研究機関 | 岐阜大学 |
|---|
研究代表者 |
松本 忠博 岐阜大学, 工学部, 准教授 (00199879)
|
|---|
| 研究分担者 |
加藤 三保子 豊橋技術科学大学, 総合教育院, 教授 (30194856)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 手話表記法 / SignWriting / 手話動作 / 単語識別 / 動作特徴ベクトル |
|---|
| 研究実績の概要 |
SignWriting（SW）では 手の形，動き，頭部，顔の表情，腕，肩などを表す図像的な記号（ISWA）を用いて手話単語を表現する．ISWAはUnicodeの文字集合にも含まれており，文字コードが割り当てられている．SWでは手話の3次元的な動きを2次元平面に射影し，ISWAを用いて近似的に表す．SWによる手話表記法は自由度が高いため，同じ動作でも書き手によってSW表現は異なる．従来の研究で我々はISWA記号間の類似度を定義し，2つの単語を構成する記号の類似度と，対応する記号間の単語内での相対的な位置によって単語間の類似度を定義し，SW単語を識別する方法を提案した．しかし，手の動きの表記は書き手によって大きく異なり，従来の手法では十分対応しきれない場合があった．
そこで2018年度は，手の動きを表す動作記号については各記号間の類似度や配置によって類似度を測るのではなく，単語に含まれる動作の特徴を37次元の動作特徴ベクトルで表現し，ベクトル間のコサイン類似度を単語間類似度に利用する方法を考案し，実装と評価実験を行った．評価実験には，30語の手話単語（イラスト20語，動画10語）を，累計33名の被験者がSWで表記した計406語の表記データを用いた．我々が構築したSW形式の日本手話単語辞書に登録された約2000語の単語と，被験者が記述した単語との類似度を算出し，辞書に登録された当該単語との類似度順位によって評価を行った．類似度第1位となったときを正解とした場合，正解率は改良前の54.8%から74.4%に19.6%向上した．また，類似度5位以内を正解と場合の正解率は，72.0%から92.1%へと20.1%向上した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
上述のように従来の手法に比べて単語の識別率をおよそ20%向上させることができたため，研究は順調に進展しているといえる．だたし，動作特徴ベクトルの要素と重み，記号間類似度等は，上述の被験者たちによる表記データを参考にして検討したため，これらはクローズドテストの結果となる．オープンテストを行うために，SWのコミュニティWebサイトからアメリカ手話（ASL）で書かれた児童文学から抽出した単語を対象に，同様のテストを行った結果，テストデータの48.3%が類似度1位，69.9%が類似度5位以内となり，改善の余地はまだあると考えている．
|
| 今後の研究の推進方策 |
2019年度以降は主に機械学習による識別手法を検討する．まず，これまでに取得した手話単語表記データは機械学習のためのデータにしては小規模であるため，記号の配置のずれや類似記号との置き換えなどによるデータの拡張手法を検討する．それとともに，機械学習に適したSignWriting表記の手話単語の表現方法についても検討する．機械学習手法としては，当面ニューラルネットワークを用いることとし，モデルの検討と評価実験を繰り返す．
|
| 備考 |
SignWriting による手話文書エディタ JSPad の公開ページ．本研究で得られた単語識別手法により手話単語検索機能を実装した．
|
