2015 Fiscal Year Research-status Report
手指動作と非手指動作の重要度を考慮したマルチモーダル手話認識システムの開発
| Project/Area Number |
15K12601
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | マルチモーダル手話認識 / 手指動作および非手指動作 / 注視情報分析 |
|---|
| Outline of Annual Research Achievements |
手話は、手指動作だけでなく、口唇の動きや顔の表情などの非手指動作を同時に利用する。しかし従来手法の多くは手指動作のみしか考慮されていない。本研究開発課題では、手話会話における手話熟練者の注視点を解析することで、腕の動き、手の形状、口唇の動き、顔の表情など各モダリティの重要度をモデル化し、それを導入した新しいマルチモーダル手話認識システムの開発を目的としている。
この研究目的のもと、本年度は(1)手話熟練者の注視点解析、(2)認識手法の改善としてLight-HMMの検討、および(3)表情認識手法の検討に取り組んだ。
(1)については、全国手話検定試験の4級・5級のテキスト付属DVDに収録されている手話シーンを対象として選び、手話熟練者3名（福岡県聴覚障害者センター）および手話未学習者6名（研究代表者所属大学の学生）の協力のもと、手話シーン観察時の注視情報の分析に取り組んだ。明確な傾向は見られなかったもののの、従来研究と同様に手指よりも顔に注視点が集中する傾向が見られ、また手話未学習者よりも熟練者の方がその傾向が強いことを確認した。
(2)については、これまでの手話認識で用いられていたHMMにおいて、処理コストを軽減するアルゴリズムであるLight-HMMを実装し、比較検討した。データを軽減しても認識精度に大きな違いはなく、Light-HMMの有効性を確認した。
(3)については、一般的な7表情の認識についてLBP-TOPの実装に取り組み改善手法を検討した。従来手法よりも高い精度は得られていないものの十分な精度を得られることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究計画に掲げていた手話会話データセットの構築が取り組めていない点で遅れが生じていると判断する。
一方、計画通りに手話熟練者の注視点解析に取り組めている。またHMMの改善手法としてLight-HMMにも取り組めている。
|
| Strategy for Future Research Activity |
研究計画で遅れが生じている手話会話データセットの構築に取り組む。また手話単語認識および指文字認識の統合手法についても取り組む。
研究計画では平成28年度は手話認識システムへ読唇手法および表情認識手法を導入することを掲げている。読唇手法および表情認識手法の基礎研究は取り組めているため、手話シーンに対して取り組み、研究計画に基づき、両手法導入の有効性を検討する。
|
