| 研究課題/領域番号 |
25330335
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2017-03-31
|
| キーワード | 手話翻訳 / ジェスチャー認識 / ジャーク最小軌道 / アイ・ハンド・コーディネーション |
|---|
| 研究実績の概要 |
H26年度に行った、正確な腕運動を実現するための運動制御メカニズムを探るための、ペンで曲線などをなぞる運動の腕と視線の同時計測実験データをより詳細に解析した。特に書道の師範の被験者を中心に計測実験を追加して、視線の先行量を比較したところ、書道経験者とそうでない一般の被験者の間の先行量の差は明確でなくなり、むしろこの先行量の大小に応じて被験者ごとの腕運動の制御戦略が異なっている可能性が大きいことが示唆された。
腕運動の運動規範を用いた手話翻訳システムの開発のために、手話翻訳者などを含む手話熟練者15名に依頼し、手話検定5級に必要となる単語から腕運動と手形状から判別できる360語の手話単語の計測実験を行った。このデータを用い、まず両腕運動のみで識別できる160単語を選び、翻訳手法を検討した。手話には利き手しか使われない片手手話と、利き腕が動いて非利き手は定まった位置にとどまる優位調整と、両手が対称的な運動を行う対称調整がある。そこで、非利き手の運動距離及び両手運動の対称性から事前にこれらの３つに分類することを試み、すべての単語が正しく分類できることを確認した。さらに片手手話の場合には以前に提案した腕運動から経由点を抽出する手法を用い、その経由点数を利き手のHMMの状態数に設定すること、優位調整では利き手、非利き手それぞれで経由点抽出を行って状態数を設定すること、さらに対称調整では非利き手の経由点数にも利き手のHMMの状態数を設定することで、認識率が90.2％に向上することを示した。次に、利き手の腕運動及び手形状で識別できる148単語を選び、Multi-Stream HMMを用いた翻訳手法を検討した。各モダリティに対応するHMMの出力を正規化した後に，腕運動と手形状の認識結果を統合する際の重みに線形判別分析の結果を用いて翻訳実験をおこなったところ、90.0％の正解率を示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
腕運動と視線の同時計測実験の実施および解析により、正確な腕運動を実現する制御スキームについて、新たな知見を得ることができた。特に視線先行量の大きさが、腕運動制御が主にフィードフォワード制御によるのか、あるいは最適制御スキームに基づく制御によるのかという、制御戦略の違いを反映している可能性を指摘できたことは重要である。
手話翻訳においては、腕運動で表現される手話単語に関しては、基本的な翻訳アルゴリズムの検討はすでに終えていたため、より多くの単語を扱うために、手形状情報との統合を検討することが主な目的となった。そのため、まず腕と手形状の同時計測を行う環境を構築し、手話熟練者の方に依頼して計測実験を行い、翻訳に用いるデータを得た。このデータから左右の腕運動データと手指の運動データを統合して翻訳を行うためにMulti-Stream HMMを検討して、左右の腕で表現される単語、および利き腕の腕運動と手形状情報を統合する手法を確立できた。この両方の統合手法は本質的にそのままさらに統合が可能であるため、左右の腕、および手形状の情報を統合する手法の検討がほぼ終わった。最終的に計測した360単語に対する翻訳結果もほぼまとまっており、現在学術論文として投稿を準備している段階まで至っている。
|
| 今後の研究の推進方策 |
正確な腕運動を実現する制御スキームを明らかにするために、線をなぞる運動だけではなく、提示した目標軌跡を消した状態で同じ線を描かせる運動についても視線を同時に計測する実験を行い、比較検討する．これらの実験を通してペンの位置に対する視線の先行量を解析し，腕運動の制御スキームを推定することを通して，腕運動軌道に見られる普遍的な特徴を生み出すヒトの運動制御メカニズムの解明を進める．
手話翻訳については、手形状データについては被験者ごとのデータの差異が大きく、手形状データのみでの翻訳結果は正解率が極めて低いことが判明した。そのため、計測機器の更新を含む計測手法の再検討、および被験者数を増やすことによる対応を検討する必要がある．
また、本研究で着目している経由点情報が、人が実際に手話などのジェスチャーを認識する際にどの程度貢献しているかを調べるために，手話やオーケストラの指揮者の映像などを被験者が見ている時の視線計測実験を実施することも検討する．
|
| 次年度使用額が生じた理由 |
手話の計測実験を行っているときに新たに購入した計測装置に故障が生じ、修理と再実験が必要になったことと、解析及び手話翻訳アルゴリズムの実装を担当していた博士後期課程の学生が長期間にわたって体調を崩したため、実験データの詳細な解析と翻訳結果のまとめが進まなかったことから、H27年度中に予定していた論文の投稿が間に合わなかった。そのため、論文掲載料として予定した分が次年度に繰り越してしまった。
|
| 次年度使用額の使用計画 |
両手の腕運動および手形状情報による手話単語の解析及び翻訳アルゴリズムの検討結果がまとまり次第、学術論文に投稿を行い、その論文掲載料を予定している。
|
