2014 Fiscal Year Research-status Report
ヒト腕運動の生成・認識モデルに基づく手話学習システムの検討
| Project/Area Number |
25330335
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 手話翻訳 / ジェスチャー認識 / ジャーク最小軌道 / アイ・ハンド・コーディネーション |
|---|
| Outline of Annual Research Achievements |
複雑な腕運動を生成、制御するメカニズムを解明するために、曲線などを描く時の手と視線の位置を、タッチパネルと視線計測装置を用いて同時計測する実験を行い、解析した。先行研究より、このような運動時には手の位置よりも視線がわずかに先行することが知られていたが、一般の被験者に加えて書道の有段者に実験に参加してもらったところ、書道の有段者は視線の先行位置がより大きくなることがわかった。この視線先行は主にサッカードによって生じているが、書道の有段者は常に手先がこの先に通るべき位置に視線を移し、手先がその点に追いつくと再びサッカードしていることがわかった。すなわち、このサッカードして注視している点が、腕運動を表現し、実行するために必要となる経由点に相当するものである可能性があることが示唆された。
手話翻訳では、右腕のみの手話単語運動の認識のため、HMMを用いた認識法を新たに検討した。HMMを用いる場合には適した状態数の設定が問題になるが、我々が提案してきたジャーク最小モデルに基づく方法により運動軌道データから抽出した経由点の数をHMMの状態数に設定することによって、認識率が高くなることを示した。また、扱う手話単語の範囲を広げ、両腕の運動で表現される手話単語の認識に取り組んだ。手話運動を、右手のみで表現される「右手動作」、右手が動き、左手はある位置で静止している「左手が静止」、両手が動く「両手動作」に分類し、その上で運動を行っている腕のデータから経由点を抽出して、認識する手法を検討した。「両手運動」の場合には、左右の腕の運動が対称であることが多いため、両腕の運動データの相関係数と、運動軌道の長さの比率を用いて判定する手法を提案した。さらに相関係数ではなく、左腕の運動データをアフィン変換した上で、右腕の運動データと比較し、両腕運動の対称性を判定する手法を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
手話翻訳では、腕のみの動作で行われる手話単語運動については、腕運動データから抽出した経由点情報を用いた認識アルゴリズムの検討を終え、認識実験によって手法の有効性を検証した。また、手話において重要な情報である手形状データについても翻訳に用いる手法の検証を終えた。引き続き、これらの情報を統合して多数の語彙数を扱える翻訳システムを構築するために、手話経験者による計測実験を開始しており、翻訳に必要なデータベース作りを進めている。
また、新たに開始した線描画時の視線計測実験により、腕運動の生成、制御において重要な知見が得られ、この結果より、ヒトの腕運動の経由点表現の妥当性についても示唆することができた。
|
| Strategy for Future Research Activity |
線描画時などの、腕運動を行っているときの視線計測に基づく実験をさらに進め、ジャーク最小モデルに基づいて抽出した経由点と視線の注視点を比較する。また、腕運動の制御モデルである最適制御モデルを用いて、この注視点を経由点と設定したときの軌道を再現し、注視点の持つ意味を解析する。
手話翻訳では、対象とする手話を、腕運動のみで表現される単語だけでなく、腕の向きや手形状も含めて表現される手話単語に拡張するため、２６年度の終わりから手話検定５級レベルの３６０単語の計測実験を開始している。これを２７年度春には終了し、このデータを用いて翻訳アルゴリズムの検討を行い、手話翻訳システムの構築を目指す。システムの実現には３次元の位置情報で表される腕運動情報、姿勢角度や手指の関節角度など、質の異なる情報を統合して認識する手法が重要となる。従来研究ではマルチストリームHMMなどの手法が提案されており、これらの手法をベースに検討を進める。また、手話文の翻訳の第一歩として、手話文データから単語運動を抽出、認識することを検討する。そのため、計測している単語を用いた１００文の手話文章データを同時に計測している。この場合にも、文章を表現している運動データから経由点を抽出し、その経由点列と手話単語の経由点データを比較し、単語動作を抽出する手法の検討から開始する。
|
| Causes of Carryover |
購入を予定していた視線計測装置が、自然科学研究機構生理学研究所の装置を使うことが可能になり、購入を延期したため。
|
| Expenditure Plan for Carryover Budget |
最終年度であるため、論文投稿や国際学会などの研究発表をより積極的に行い、投稿費用や旅費に使用する。また、手話翻訳システムの構築のため、データベース作成を目的とした被験者実験が必須であり、その被験者代に使用する。また、視線計測実験をより積極的に行うため、必要な計測装置の購入を予定している。
|
