| 研究課題/領域番号 |
18K11364
|
|---|
| 研究機関 | 愛知工業大学 |
|---|
研究代表者 |
森本 正志 愛知工業大学, 情報科学部, 教授 (60632198)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | ジェスチャ認識 / 手話 / 指文字 / 学習 / ゲーミフィケーション |
|---|
| 研究実績の概要 |
本研究は簡単・効率的に手話を自主学習するための学術研究を目的とする。手話学習では正しい身体動作を模倣する倣い学習が必要となるが、自主学習時には模倣動作の正誤判定だけではなく、間違っている場合の理由説明および修正箇所指示が必要である。本課題はこれらの判定・表現方法および学習支援に向けた利用方法に関する研究を行っている。研究期間中の観測対象は手に絞り、指文字を対象言語としている。
今年度はまず深度センサを用いた静止指文字認識手法の改良を行った。手指骨格位置に基づく昨年度手法では認識性能の低い（平均認識率32.3%）13種類の静止指文字に対し、深度画像における領域照合を用いた改良認識処理により平均認識率88.8%を得た。一方、指の本数や非指文字に対する誤認識などの課題も判明した。次に、同センサを用いて動きを伴う指文字認識手法を開発した。昨年度開発手法の高速化および判定ルール改良により、39種類の動的指文字に対する平均認識率61.0%を得た。今後は認識率の低い指文字を構成する手指形状・動き検出精度の向上が必要である。
実際の指文字は連続して実行されるため、連続した手指動作を指文字区間とその遷移区間に分類することで一文字単位に分解する必要がある（インデクシング）。昨年度手法に対して深層学習手法(RNN)を用いた改良を実施し、小規模データセット評価実験により平均正解率92.0%が得られ、その有効性を示した。今後は大規模データ評価・設計手法改良・ハイパーパラメータ調整が必要である。
これらの認識技術に基づく自主学習支援アプリに関し、今年度は模倣指文字の間違い箇所を指摘する機能を開発し、その効果に関する被験者評価を行った。本機能により平均3.5秒の正解到達時間短縮が見られ、その有効性を示した。今後は指摘機能のインタフェース改善や指摘箇所の適切さ向上のための改良が必要である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究計画である、１．指文字動作から部分パターン群への構造化とその状態に基づく正誤判定・判断根拠表現を行うハンドジェスチャ構造化・認識技術、および、２．構造化・認識情報を用いてゲーム性を持つ学習プロセスにより反復学習を促進するハンドジェスチャ・ゲーミフィケーション、に関して、それぞれ順調に開発・評価を実施した。
１に関しては、構造情報定義：手指動作パターンからどのような構造化を行うかについて、連続手指動作からの指文字インデクシング手法改良に基づく性能向上により文字分解の実現可能性を上げることができた。また、構造情報抽出：どのようにしてその構造情報を正しく抽出するかについて、深度センサを用いた静止指文字認識手法改良および動きを伴う指文字認識手法開発により、より一般的なセンサによる指文字構造化への知見を得た。
２に関しては、模倣指文字の間違い箇所を指摘する機能を追加して自主学習支援アプリをブラッシュアップし、その機能による学修時間短縮効果を評価実験により確認できた。また本機能実装に際し、研究計画１における判定・判断根拠導出： 抽出された構造情報からどのようにして判定・判断根拠を導出するかに関するプロトタイプを作成し、上記機能実施に支障のないレベルの性能を得た。その他に、複数利用者の学習過程を記録する機能や指文字検索機能の開発により、学習支援アプリとしての利便性を向上することができた。
|
| 今後の研究の推進方策 |
今後はこれまでの評価内容をベースに、研究計画１に関しては構造情報抽出および判定・判断根拠導出の手法改良を実施する。具体的には、これまでに開発してきた各認識手法における課題解決として、１．色情報を用いた構造情報抽出性能の向上、および、２．センサ値信頼度に基づく認識制御手法開発・評価を行う。
また研究計画２に関しては、３．間違い箇所指摘機能改良に基づく学習効率向上、および、４．学習効果可視化およびアプリ全体インタフェース改良による学習効果向上の検証を実施する。
|
| 次年度使用額が生じた理由 |
当初購入を計画していた計測・評価実験用PCに対し、より高性能な深層学習用ワークステーションを購入することで研究の効率化を図ったため、物品費は想定支出額を上回った。一方、連続指文字正解データ・実験用データを小規模データセットとしたため、人件費が想定支出額を下回り、以上の理由により次年度使用額が発生した。
翌年度分として請求した助成金と合わせた使用計画としては、実利用を想定した計測・評価実験用ノートPCを購入する。また、上記正解データ登録・実験用データ登録作業を拡充して大規模データセットを準備するとともに、正誤判定・判断根拠に関する評価実験および学習効果に関する被験者評価実験を実施する。さらに研究成果の発表・論文化を行うことで、本研究に資する。
|
