|
今年度は、まず手指モーションセンサLeap Motion Controllerを用いた静止指文字認識手法の改良を行った。手指骨格位置に基づく認識の改良点として、掌の向きや指の折れ曲がり判定条件などに対するチューニングを実施した。41種類の静止指文字に対し昨年度より約20%向上した平均認識率92.3%を得たことにより、後述する自主学習支援アプリにおける実用的な性能を達成した。
一方、通常のRGBカメラを用いた指文字認識検討の必要性に基づき、深層学習ライブラリOpenPoseを用いた静止指文字認識手法の基本検討を行った。OpenPoseによる手指骨格位置取得およびこれまでの指文字判定条件を踏襲・改良した認識手法を開発し、平均認識率78.7%を得た。認識精度にはばらつきが多く、OpenPoseで推定できない指骨格が存在した場合の処理を検討する必要がある。
指文字は連続実行されるため、連続した手指動作を指文字区間とその遷移区間に分類することで一文字単位に分解する必要がある（インデクシング）。昨年度手法の評価に基づき、深層学習手法としてLong Short-Term Memory(LSTM)を用いたインデクシング手法を開発した。また規模を拡大した連続指文字データセットを作成し、入力特徴量の拡張およびハイパーパラメータ調整を実施した。評価実験により平均正解率73.0%が得られ、その有効性を示すことができた。今後入力特徴量の有効性評価・取捨選択などによる精度向上が必要である。
これらの認識技術に基づく自主学習支援アプリに関し、昨年度開発した模倣指文字の間違い箇所指摘機能改良、およびアプリケーション機能・インタフェース改善を実施した。数名の被験者による評価実験により、その有効性を示すことができた。また本研究成果の論文化を行った。今後は被験者数を増やした上での学習効果評価・改良が必要である。
|
