| 研究課題/領域番号 |
16K21287
|
|---|
| 研究機関 | 大阪府立大学 |
|---|
研究代表者 |
井上 勝文 大阪府立大学, 工学(系)研究科(研究院), 助教 (50733804)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | フィンガースペリング認識 / RGB-Dカメラ / スポッティング / 距離情報 / ジェスチャー認識 / 動作解析 |
|---|
| 研究実績の概要 |
本研究の目的は，聴覚障害者との円滑なコミュニケーションを実現する第一歩として，視覚言語の一種であるフィンガースペリングを高精度に自動認識するシステムを確立することである．フィンガースペリングとは，書記言語の綴を一文字一文字指の形で表現するもので，日本語のものには，手の位置や形状を固定して表現する静止文字に加え，手を動かして表現する動作文字が存在する．平成29年度では，平成28年度に引き続きフィガースペリング認識の根幹を成す静止文字の認識精度向上と，連続的に表現された各文字を時系列的に切り出すスポッティングシステム，それに基づく単語認識システムについて検討した．以下で具体的に述べる．
平成29年度では，静止文字の認識精度向上のために，まず昨年度まで使用していた識別手法であるSVM(サポートベクトルマシン)に用いられているカーネル関数について最適なものを探索し，これまでの線形カーネルからより複雑な識別境界面を作成できるRBF(Radial Basis Function)カーネルへ変更することで精度向上を実現した．また，平成29年度では，深層学習手法の一種で人物の姿勢や手の形状を推定できるOpenPoseを用いて，手の骨格情報を抽出し，その形状から静止文字を認識する手法を確立した．本手法は，これまで使用してきたRGB-Dカメラではなく，一般的なウェブカメラでも動作し，かつこれまでの手法と同程度の認識精度を達成した．
さらに，平成29年度では，昨年度までに提案したスポッティングシステムを基に，連続表現されたひらがなの文字列から単語へ変換するシステムについて検討した．具体的には，提案システムで取得したひらがなの文字列をサーバへ転送し，形態素解析システムであるMecabを用いて単語へ変換し，その単語を返すクライアントサーバシステムを検討し，現在構築中である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本研究では，フィンガースペリング認識における静止文字・動作文字の認識精度向上，連続表現された各文字の時系列的な切り出しを図るスポッティングシステムの確立，フィンガースペリングによる単語認識，フィンガースペリングによるタイピングシステムの確率を順次達成することを目指している．平成29年度では，スポッティングシステムと単語認識システムの確立を計画していた．単語認識システムにおいては，現時点ではひらがなへの切り出しや形態素解析といった個々のシステムは揃っているものの，それらを繋げるクライアントサーバーシステムの構築までには至っていない．しかし，これらを繋げることで確立できるため，この点については，概ね順調に進んでいると判断する．
一方，これまでに作成したスポッティングシステムにおいて，少人数の実験では高精度に文字の切り出しを行えていたが，実験参加者を増加させた実験においては，参加者毎に文字の切り替え速度の違いや，同じ文字でも参加者毎に微妙に異なる手の表現の違いを吸収することができず，正確に文字を切り出すことができないという問題が生じた．この原因としては，静止文字の学習データ不足や，動作文字認識において，表現スピードを閾値処理していることが挙げられる．この問題は，単語認識やタイピングシステムの根幹をなすシステムであるため，これを解決もしくは緩和しなければ，最終的なシステムに大きな影響を与える．
上述の理由から，システムの困難部分に問題が生じているため，全体としてやや遅れていると判断した．
|
| 今後の研究の推進方策 |
平成30年度では，スポッティングシステムの精度向上，および単語認識システムの作成を目指す．また，作成された一連のフィンガースペリングによるタイピングシステムに対して，実験参加者による文字入力のストレス感について調査する．具体的には，以下の通り進めることを考えている．
まず，スポッティングシステムにおいて，深層学習手法でよく用いられているCNN(Convolutional Neural Network)を用いて静止文字の精度向上を，またRNN(Recurrent Neural Network)もしくはLSTM(Long-Short Term Memory)を用いて動作文字の精度向上を目指す．さらに，ある動作文字から次の文字を表現する際に，「の」や「り」といった動作文字に誤認識される場合が多いため，文字の切り替え中の状態を学習することで，誤った認識・切り出しを減らすことを目指す．
次に，クライアントPC側で切り出された文字列を，パケット通信でサーバへ送り，Mecab等を用いてひらがなの文字列を漢字入りの単語へ変換し，再度パケット通信でクライアントPCへ転送する単語認識システムを構築する．
最後に，上述で作成された指文字によるひらがなの入力から単語を得るタイピングシステムについて，多くの実験参加者を募り，システムを使う上でのストレス感について調査・報告する予定である．
|
