2018 Fiscal Year Research-status Report
手話自主学習における正誤判断根拠表現・説明のための構造化・認識・ゲーム化の研究
| Project/Area Number |
18K11364
|
|---|
| Research Institution | Aichi Institute of Technology |
|---|
Principal Investigator |
森本 正志 愛知工業大学, 情報科学部, 教授 (60632198)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ジェスチャ認識 / 手話 / 指文字 / 学習 / ゲーミフィケーション |
|---|
| Outline of Annual Research Achievements |
本研究では、簡単・効率的に手話を自主学習するための学術研究を目的とする。手話学習では正しい身体動作を模倣する倣い学習が必要となるが、自主学習時には模倣動作の正誤判定だけではなく、間違っている場合の理由説明および修正箇所指示が必要である。本課題は、これらの判定・表現方法および学習支援に向けた利用方法に関する研究を行っている。研究期間中の観測対象は手に絞り、「指文字」を対象言語としている。
まず、従来研究で実現していた静止指文字に対する認識手法を拡張し、動きを伴う指文字に対する認識手法を開発した。掌や指先の移動ベクトルを取得し、指文字表現開始時の手指形状認識およびそれらの移動量・方向分類により認識を行う。平均認識率は74%となり有効性を示す一方で、一部の指文字における課題も判明した。
実際の指文字は連続して実行されるため、連続した手指動作を指文字区間とその遷移区間に分類することで一文字単位に分解する必要がある。このための指文字インデクシング手法として、4種類の動き特徴量および機械学習を用いた分類手法を開発した。平均F値0.80となり有効性を示す一方で、動きのある指文字の区間推定における課題も判明した。
また、現在の手指専用センサを一般的なカメラに代替していくことが必要である。今期は色および深度センサを用いた静止指文字認識手法への改良を行い、従来研究とほぼ同等性能である平均認識率86%を得た一方、一部の指文字における課題も判明した。
これらの認識技術を用いた自主学習支援アプリを開発する必要がある。今期は指文字動作の正誤に基づくコレクションゲームをアプリの一部として開発し、被験者評価を行った。従来アプリに比べ利用反復性および学習可能性における向上が見られ、その有効性を示すことができた。他方でデザイン面やユーザビリティの向上が必要であると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画である、１．指文字動作から部分パターン群への構造化とその状態に基づく正誤判定・判断根拠表現を行うハンドジェスチャ構造化・認識技術、および、２．構造化・認識情報を用いてゲーム性を持つ学習プロセスにより反復学習を促進するハンドジェスチャ・ゲーミフィケーション、に関して、それぞれ順調に開発・評価を実施した。
１に関しては、構造情報定義：手指動作パターンからどのような構造化を行うかについて、連続手指動作からの指文字インデクシング手法開発および評価により文字分解の知見を、また動きを伴う指文字に対する認識手法開発および評価により指文字構造化への知見を得た。さらに構造情報抽出：どのようにしてその構造情報を正しく抽出するかについて、従来の手指センサに加えて色および深度センサを用いた静止指文字認識手法開発および評価によりその知見を得た。
２に関しては、指文字動作模倣のための3DCG表示・指文字正誤判定・再学習促進の各学習過程を踏まえた自主学習支援アプリをブラッシュアップし、指文字動作の正誤に基づくコレクションゲーム機能追加による反復利用意欲増加の可否を評価し、その有効性を確認した。
|
| Strategy for Future Research Activity |
今後は引き続き研究計画に則り、これまでの評価内容をベースに、判定・判断根拠導出： 抽出された構造情報から判定・判断根拠を導出するための手法検討を開始する。具体的には、これまでに開発してきた各認識手法における判定ルールと抽出された構造情報との比較を行い、１．判定ルールと抽出構造情報との比較手法開発・評価、および、２．判断根拠表示手法開発・評価を行う。
また、これまでに判明した各開発手法における課題を解消するための改良手法開発および評価に着手する。具体的には、３．色および深度センサを用いた指文字認識手法改良および認識対象拡張、および、４．自主学習支援アプリのインタフェース・機能改良による学習効果向上検証を実施する。
|
| Causes of Carryover |
当初購入を計画していた判定・判断根拠導出用PCに対し、より低価格で同等性能が期待できるPCを購入したため、物品費が想定支出額を下回った。また、指文字正解データ登録および実験用データ登録作業が想定時間以下で完了したため、人件費・謝費も想定支出額を下回り、以上の理由により次年度使用額が発生した。
翌年度分として請求した助成金と合わせた使用計画としては、当初計画通り異なるモーションセンサによる実験も想定してセンサ機器を追加購入し、また実利用を想定した計測・評価実験用ノートPCを購入する。また、上記指文字正解データ登録・実験用データ登録作業を拡充するとともに、正誤判定・判断根拠および説明提示に関する被験者評価実験を実施することで、本研究に資する。
|
