2014 Fiscal Year Research-status Report
手指動作と非手指動作のサブユニットモデルに基づく手話認識に関する研究
| Project/Area Number |
25350666
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
北村 正 名古屋工業大学, 工学(系)研究科(研究院), 教授 (60114865)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 助教 (30396791)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 手話辞書 / 手話認識 / 実時間手話認識 / 深度センサ |
|---|
| Outline of Annual Research Achievements |
これまでの研究では、主にビデオカメラによって撮影された手話映像から手話認識を行う手法に取り組んできた。このアプローチでは、位置センサやモーションキャプチャなどの特殊な装置を用いない簡便性が利点であったが、画像処理による手指動作の特徴抽出処理が必要であり、リアルタイム性や撮影環境などの依存性の問題もあった。
本研究では、実用的な観点から複雑な画像処理を必要としないリアルタイム性、撮影環境などの依存性が少ない装置として、近年、低価格化・高精度化の著しい深度センサに着目し、従来の手話認識の枠組みを活用した手話認識手法と新たな課題として非手指動作の認識手法について取り組んだ。
平成25年度では、リアルタイム性能に重点を置いた大規模な手話辞書と深度センサを利用した手話認識手法の研究を実施し、100単語程度のリアルタイム手話単語認識タスクにおいて74.3%の精度を確認した。
平成26年度では、前年度のシステムで用いていた深度センサを高精度化し、手話の主要な要素である手形（手の形状）の特徴抽出手法の改善に取り組んだ。その他、これまでに提案してきた手話のサブユニットモデルに基づいた認識手法において、手話の音韻重みを自動推定する手法について検討した。一方、手話における非手指動作を対象とした取り組みでは、主に人物の頭部動作に着目し深度センサを利用した顔表情の抽出手法の基礎的検討を行ったほか、基本的な頭部動作として4種類のパターンを認識する手法を検討し、簡易的な手話認識タスクにおいて評価実験を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の大きな課題は手指・非手指動作に基づいた手話認識と深度センサを用いた実用的な認識システムの開発の二つである。
今年度では非手指動作を対象とした手話認識手法についても検討した。非手指動作を考慮した手話認識の研究はまだ多くされておらず、言語的な観点からもまだ未解明な部分もある非手指動作のうちどの範囲を研究の対象とするべきかや、国内外における研究例や研究用のデータベースやなど基礎的な調査を実施した。更に、特に主に頭部動作に着目した特徴抽出手法や認識手法を検討し、小規模な手話データを収録した上で評価実験を行った。
また、初年度に取り組んだ手話の実時間認識システムの取り組みでは、高精度版深度センサを用いて従来版では十分に識別できていなかった手形状を対象に、新たな手形状認識手法に取り組んだ。また、従来研究で取り組んできた手話のサブユニットモデルの改善に取り組んだ。手話のサブユニットモデルでは、3つの音韻要素間の重要度を実験的に定めていたがこれを個々の単語に最適化することで認識率の改善が期待できる。予備実験によって認識率の改善幅を調査し、手話の辞書的な情報からその重みを自動推定する手法について取り組んだ。
以上のように、課題別に未達成の項目はあるが先行して取り組んでいる課題なども考えると研究計画全体としては順調に推移している。
|
| Strategy for Future Research Activity |
過去2年間の研究では、実時間手話認識システムの開発や非手指動作を考慮した手話認識手法に重点的に取り組んだが、これらの手法を統合した手指動作と非手指動作に対応した手話認識手法について検討するほか、これらの手法を評価するための手話データの収録を行う必要がある。従来研究で提案してきた、手話のサブユニットモデルの考え方を利用すると、非手指動作を新たな認識対象要素として加え、さらに要素間の重みを適切に変化させることで非同期に出現する非手指動作を考慮した手話認識が行えると考えられる。このようなサブユニットモデルを拡張した非手指動作を考慮した手話認識手法について検討する。
また、手話データの収録に関しては、深度センサを用いた手話データベースは一般には流通していないため、手話辞書のエントリ数に相当する規模の手話データを収録する。これまでの研究では、手話通訳士による数百単語レベルの手話データベースの収録実績があり、限られた収録時間数で手話の音韻をカバーする語彙設計などの知見がある。これらの知見を利用して本研究で使用している木村らの手話辞書を分析し、深度センサを用いて評価実験用の手話データベースの収録と構築を行う。非手指動作に関する予備調査では、視覚言語の映像に対してアノテーションを行うツールキットを利用した例があり、本研究でも一般性の高いデータベースとして活用できるよう、これらのツールを活用してアノテーションを行う予定である。
|
| Causes of Carryover |
26年度の研究では、手指動作や非手指動作の情報抽出精度が上がった次世代の深度センサを導入したが、リリース時期が予定より遅れたため、26年度に開始した非手指動作の研究や手指動作の研究に必要な手話データの収集や、ラベルづけなどによる手話データベースの作成が開始できなかった。そのために計上していた手話通訳士の費用やデータベース構築のための経費を次年度に繰り越すこととした。
|
| Expenditure Plan for Carryover Budget |
27年度には、26年度に繰り越した予算により手話通訳士の手話データを収録する。そのために、手指動作や非手指動作の情報を抽出可能な深度センサを用いる。更に、手話データのセグメンテーション、ラベリングを行い、手話データベースを構築する。
また、全国手話検定試験５級程度のリアルタイムの手話認識システムの構築を行うと共に、構築されたデータベースをもとに、手指動作や非手指動作を用いた高度な手話モデルを作成し学習・認識を行う。更に、今年度は最終年度のため、研究成果を国際会議などでの発表を行う。
|
