2016 Fiscal Year Research-status Report
聴覚障がい者とのストレスフリーな対話に向けたフィンガースペリングの新認識システム
| Project/Area Number |
16K21287
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
井上 勝文 大阪府立大学, 工学(系)研究科(研究院), 助教 (50733804)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | フィンガースペリング認識 / RGB-Dカメラ / スポッティング / 距離情報 / ジェスチャー認識 / 動作解析 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，聴覚障がい者との円滑なコミュニケーションを実現する第一歩として，視覚言語の一種であるフィンガースペリングを高精度に自動認識するシステムを確立することである．フィンガースペリングとは，書記言語の綴を一文字一文字指の形で表現するもので，日本語のものには，手の位置や形状を固定して表現する静止文字に加え，手を動かして表現する動作文字が存在する．平成28年度では，フィンガースペリング認識の根幹を成す静止文字の認識精度向上と，表現する文字を連続的に切り替えた際の各文字の時系列的な切り出しを図るスポッティングシステムについて検討した．以下で具体的に述べる．
前年度までに提案していた輝度勾配に基づく画像特徴量ベースの静止文字認識に加え，本年度では，通常の画像に加え対象物までの距離も測定できるRGB-Dカメラを用いて，距離情報に基づく手形状特量量も抽出し，静止文字の認識精度を検証した．その結果，画像特徴量ベースのものよりも高精度に静止文字を認識できるようになった．
また，表現する文字を連続的に切り替えた際の各文字の時系列的な切り出しを行うために，まずこの分野でよく用いられているSOM(自己組織化マップ)と呼ばれる手法と，前年度までに使用していた画像特徴量を用いて，スポッティングシステムを確立した．このシステムにより，各文字の認識と連続表現された文字の分離を静止文字・動作文字に関わらず同時にできるようになった．しかし，SOMを用いたスポッティングシステムでは，各文字の認識精度が低いという問題が生じた．そこで，本年度では高い認識精度を維持しつつスポッティングができる手法として，静止文字のスポッティングにSVM(サポートベクトルマシン)を，動作文字の認識に動作前後の手の方向に基づくルールベースの手法を用いることで，SOMを用いたものよりも高精度なスポッティングシステムを確立した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，フィンガースペリング認識における静止文字・動作文字の認識精度向上，連続表現された各文字の時系列的な切り出しを図るスポッティングシステムの確立，フィンガースペリングによる単語認識，フィンガースペリングによるタイピングシステムの確立を順次達成することを目指している．本年度では，静止文字・動作文字の認識精度向上を計画していたが，動作文字の認識精度については，前年度までのものから大きな進展は見られなかったものの，前述の通り，静止文字の認識精度が向上した．また，本年度では，スポッティングシステムの検討のみを計画していたが，前述の通り，システムの検討のみならず，複数のスポッティングシステムを確立した．このため，概ね順調に進展していると判断する．静止文字・動作文字の認識精度向上は，フィンガースペリング認識システムの根幹を成すため，次年度も引き続き検討したいと考えている．
|
| Strategy for Future Research Activity |
次年度では，スポッティングシステムの精度向上と連続的に表現されたフィンガースペリングから単語を認識する技術の実現を目指す．具体的には，以下の通り進めることを考えている．
まず，文字の切り替え途中の手形状を誤ってある文字と誤認識するのを防ぐために，連続する2文字間の手形状の状態遷移を学習することで，入力文字の信頼性が低い場合に，認識リジェクトする機能を導入する．次に，単語辞書や，音声認識技術を応用することで，入力された文字列より単語を認識するシステムを実現する．また，編集距離の概念を導入し，システムが誤認識してしまった文字をスペルチェッカーの要領で修正するシステムを確立することも主なテーマとなる予定である．さらに，前述の通り，静止文字・動作文字の認識精度向上はフィンガースペリング認識の根幹を成す技術となるため，次年度も引き続き精度向上を目指す．
|
