2018 Fiscal Year Annual Research Report
A New Recognition System of Finger-spelled Sign Language Toward Stress-free Communication with Hearing-impaired People
| Project/Area Number |
16K21287
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
井上 勝文 大阪府立大学, 工学(系)研究科(研究院), 助教 (50733804)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | フィンガースペリング認識 / RGB-Dカメラ / スポッティング / 距離情報 / ジェスチャー認識 / 動作解析 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，聴覚障がい者との円滑なコミュニケーションを実現する第一歩として，視覚言語の一種であるフィンガースペリング(指文字)を高精度に自動認識するシステムを確立することである．日本語の指文字には，手の位置や形状を固定して表現する静止文字と，手を動かして表現する動作文字が存在する．平成30年度では，これまで2年間の調査で明らかになった誤認識しやすい文字の認識精度改善と，これまでに培ってきた手法を動員し，指文字によるタイピングシステムのプロトタイプを構築した．以下で具体的に述べる．
平成29年度において，手骨格情報を高精度で推定できるOpenPoseを用いて静止文字の認識精度改善を図ったが，この調査において手を下向きにして表現する文字の精度が低いことが分かった．原因調査の結果，手を下向きにした際のOpenPoseの骨格推定能力不足が判明した．このため平成30年度では，擬似的に下向きの文字を上向きの文字とするよう画像処理することで，精度情報を図った．結果として，下向き文字の認識精度を平均で9.6%改善し，平均認識率90%を達成した．
また，平成30年度では，これまでに提案した手法を動員し，指文字によるタイピングシステムのプロトタイプを構築した．具体的には，連続表現された文字をスポッティングし，得られたひらがな列を，既存のひらがな－漢字変換システムmecab-skkservを用いて漢字に変換して提示できるようになった．本システムに関するユーザアンケートの結果，実用化に向けて処理の高速化を図る必要があるものの，コミュニケーション手段の一つとして，有用であるということを確認した．
以上より，平成28年度～30年度の研究の成果により，システムの処理速度に課題は残るものの，聴覚障がい者とのコミュニケーションにおいてシステムの能力不足による意思疎通ストレスを軽減できるようになったと考える．
|
