2023 Fiscal Year Research-status Report
間違い箇所検出・理由説明に基づく手話認識・倣い学習支援手法およびシステムの研究
| Project/Area Number |
23K11377
|
|---|
| Research Institution | Aichi Institute of Technology |
|---|
Principal Investigator |
森本 正志 愛知工業大学, 情報科学部, 教授 (60632198)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 指文字 / 倣い学習 / 形状分類 / 動作分類 / 間違い箇所検出 / フィードバック / 学習支援 / Webアプリケーション |
|---|
| Outline of Annual Research Achievements |
本研究は効果的な手話自主学習機能を実現するための手法開発を目的とする。手話自主学習は身体動作を模倣する倣い学習であり、その正しさを判定する認識手法と間違った模倣時の間違い箇所検出や理由説明を可能とする倣い学習支援手法が必要となる。研究期間中は「指文字」を対象言語としている。
まず、従来研究におけるモーションセンサを用いた静止指文字認識手法を改良し、Google MediaPipeライブラリに基づくWebカメラを用いた認識手法を開発した。掌や指の形状を特徴量として検出し、その組み合わせルールに基づく形状分類により認識を行う。8000枚強の画像に対し平均正解率は90%となり有効性を示す一方で、一部の静止指文字における課題も判明している。
次に本手法をベースとして、動きを伴う指文字に対する認識手法を開発した。掌や指先の移動ベクトルをWebカメラ映像から取得し、動作開始時の手指形状および動作分類により認識を行う。平均正解率は40%となり、特に動作分類に関する改良の必要性が判明した。
また、間違った模倣時の間違い箇所検出に基づく学習支援手法を開発した。指文字を間違えた場合、掌の向き・指の折れ曲がりにおける間違い箇所を推定し、その情報を利用者にフィードバックすることで正しい模倣を促す。被験者10名による10種の指文字学習評価実験において、正解までの平均所要時間が90秒から76秒に短縮された。今後の課題は間違い箇所検出の拡張・インタフェース改良が挙げられる。
これらの手法に基づき、静止指文字の学習支援Webアプリケーションを開発した。また、利用者の習熟度に応じた出題機能やゲーム機能開発、モバイル対応を行った。被験者10名の評価実験により、利用反復性や学習可能性に関して高い評価が得られた。研究進捗に応じた機能追加・習得度測定機能実装、ユーザビリティ向上が今後の課題である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画である、１．構造化に基づく指文字認識、２．間違い箇所検出に基づく倣い学習支援、３．学習支援アプリ作成、に関して、それぞれ開発・評価を実施した。１は研究着手の順序を入れ替えることでおおむね順調に、２は１の影響でやや遅れて、逆に３は当初の計画以上に進展しており、総体としてはおおむね順調である。
１に関しては、手指形状からの構造化について従来研究の知見に基づき開発を進め、高い平均正解率を得る静止指文字認識手法開発に至っている。一方、構造化が困難な一部指文字に対しては手指パターン全体に基づく認識手法を開発する予定であったが、実施に至っていない。これは深層学習適用を前提とするために、大量のデータ撮影が必要となるからである。そこで、２年目実施予定であった動きを伴う指文字認識手法を先行着手した。並行してデータ撮影を進めた結果、深層学習手法開発への準備は整っている。
２に関しても１と同様に、構造化に基づく学習支援手法の開発は実施できている。一方でパターン全体に基づく認識における間違い箇所検出・理由説明の手法検討は、認識手法開発と並行して実施予定のため未着手となっており、最も遅れが生じている。
３に関しては、当初はPCアプリケーションを先行して開発する予定であったが、利用者の導入障壁を勘案して最初からWebアプリケーションとしての開発を進めた。利用者の習熟度に応じた指文字問題出題機能・Webカメラを用いた正誤判定機能・学習結果評価機能に加え、カメラを用いずに学習可能とするゲーム機能やモバイルデバイス対応を行い、評価実験により学習支援アプリとしての有効性を確認できた。
|
| Strategy for Future Research Activity |
今後は引き続き研究計画に則り、これまでの評価内容をベースに、まず１．手指パターン全体に基づく認識手法検討を開始する。具体的には、これまでの手法により得られた手指の構造情報を入力とする方法と、手指の領域画像そのものを入力として用いる方法の２つを想定する。また、まずは畳み込みニューラルネットワーク（CNN）による深層学習方法を想定し、これらによる認識手法開発および性能比較を行う。これまでに準備できた撮影データを用いて開発・評価を開始するとともに、随時データ撮影・登録を行うことでデータ拡充を進め、深層学習手法における性能向上を図る。また、動きを伴う指文字認識手法に関しては、動作分類手法の改良に取り組むことで性能向上を図る。
２．間違い箇所検出に基づく倣い学習支援手法に関しては、間違い箇所検出の拡張・インタフェース改良を行う。そして上記認識手法の結果が得られたところで、XAI手法による判断根拠（ヒートマップ）を算出し、正解指文字と間違い指文字におけるヒートマップとの比較を行うことで、間違い箇所指摘が可能となるか検討を進める。
３．学習支援Webアプリケーションに関しては、動きを伴う指文字認識機能の組み込みから着手し、習得度測定機能実装およびユーザビリティ向上に取り組む。
総体としては２の研究項目を推進するために、まず１の早期成果創出を図る。
|
| Causes of Carryover |
当初購入を計画していた設備備品に関しては、映像データ蓄積サーバを除き予定通り購入している。映像データ蓄積サーバ関連の周辺機器および撮影用機材購入を行わなかったため、その支出が発生していない。また、指文字データ撮影および実験用データ登録作業が想定時間以下で完了したため、人件費・謝費も想定支出額を下回り、以上の理由により次年度使用額が発生した。
翌年度分として請求した助成金と合わせた使用計画としては、当初計画通り認識・学習支援手法開発用PCを追加購入する。また、上記映像データ蓄積サーバおよび周辺機器・撮影用機材を購入し、指文字データ撮影・登録作業を拡充する。さらに、学習支援アプリ評価を想定したノートPCを購入し被験者評価実験を実施することで、本研究に資する。
|
