| 研究課題/領域番号 |
25330335
|
|---|
| 研究種目 |
基盤研究(C)
|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2016-03-31
|
| キーワード | 手話翻訳 / ジェスチャー認識 / ジャーク最小軌道 |
|---|
| 研究概要 |
複雑なヒト腕の運動は複数の経由点を通るジャーク最小軌道として生成されているという仮説をもとに、ジェスチャー運動の例としてオーケストラの指揮者の運動を解析した。複数の経由点を通る周期運動のジャーク最小軌道を導出し、計測軌道をよく近似できるような経由点を探索したところ、滑らかな上下運動と比較して、指揮運動は経由点パターンが一意に決まること、経由点が最下点付近に現れることを確認した。これはジェスチャーの認識において経由点を抽出しているのであれば、最下点が自然に注目しやすくなることと、経由点パターンが一意に定まりやすい指揮運動のような運動パターンの方が認識しやすいことを示唆していると考えられる。
手話学習システムの開発に関しては、これまでに提案してきた、腕の運動軌道をジャーク最小軌道と見なして経由点を抽出する手法をもとに、両腕運動で表現される手話単語へ認識対象を広げることを検討した。手話における腕運動は、①右手のみ、②左手が静止、③両手動作、という３通りに分けられる。③の場合には左腕が右腕に対して対称な運動となることが知られているため、左右の腕運動の対称な面を考慮することでさらに細分化したのち、両腕運動から抽出した経由点情報を用いたDPマッチングによって認識する手法を提案した。提案手法を６名の被験者によって計測された60単語動作の認識実験で検証したところ、約96%の認識率を得た。
また、実用的な手話翻訳システムの実現のために、Kinectを用いた手話認識手法を検討した。腕運動を深度センサで計測して経由点を抽出、認識することで単語候補を絞り、その中から手形状に関する画像認識によって単語を決定することで、認識率が向上することを確認した。さらに手形状を認識するセンサとして筋電信号を用いるため、手形状と同時計測し、筋電情報と手形状の相関情報を抽出して手形状を認識する手法を検討した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
指揮運動の解析から、ジェスチャーなどにおける腕運動の認識においては、提案しているジャーク最小モデルに基づく経由点を用いた解析手法が有効であることを示唆する結果が得られた。
また、手話単語認識に関しては、これまでの右腕運動の運動パターン認識から左右の腕運動の認識、および、右腕運動と右手形状の統合手法について検討を行い、両腕および両手形状で表現される手話単語の認識システムを実現するための基本的な枠組みを確立することができた。
手話認識システムの計測デバイスは非接触型としてはMicrosoft社のKinectを検討し、その長所を生かすための知見を得ることができた。特に問題となるのは手形状の認識であるため、簡易な接触型センサとして、筋電センサを使う可能性について検討を進めることができた。これらの計測デバイスの検討については、本研究課題の目的である手話学習システムの先である、聴覚障害者が利用する手話翻訳システムの実現のための重要な結果である。
|
| 今後の研究の推進方策 |
ヒトのジェスチャー認識における情報処理メカニズムをさらに探るため、ヒトの腕動作時に腕運動計測と視線計測を行い、腕運動の適切な制御のための視覚情報の役割について調べる。さらに指揮運動や手話運動などのビデオやCGアニメーションを用い、運動パターンを認識しているときの視線計測を行い、運動生成時の視線情報との比較から、運動の生成と認識における情報処理の関係を考察する。
手話学習システムにおける手話認識技術については、両腕の運動情報および両手の手形状の情報を統合した単語認識アルゴリズムについて検討を行う。その際にはこれまで検討した左右の腕運動の相関性を考慮した統合手法や、右腕および右手形状で表現される単語認識のために、認識がより容易な腕運動によって単語候補を絞り込み、その中から手形状による比較を行って単語認識する手法を拡張する。手話検定５級レベルの単語数400単語の認識を目標として、複数の手話経験者による計測実験を通してデータベースの構築を行い、これを用いて上述の手法を検証し、手話単語認識システムの実現を目指す。並行してこれらの単語によって構成される手話文章も計測し、経由点抽出アルゴリズムを適応することで経由点列に変換し、その情報から手話単語を抽出するアルゴリズムを検討する。
また、筋電を手形状や腕運動の計測デバイスとして利用することを引き続き検討する。
|
| 次年度の研究費の使用計画 |
購入を予定していたデータグローブが予定価格より割り引かれた値段で購入できたことと、論文投稿がH25年度中に間に合わず、H26年度に持ち越されたため。
本年度は論文投稿、および国際学会などの研究発表をより積極的におこなうため、投稿費用や旅費に使用する。また、運動計測や視線計測に必要な計測装置の購入を予定している。
|
