聴覚障害者のための手話・音声・唇動画像同時生成の研究-障害者に優しいヒューマンマシンインタフェースを目指して-

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780321
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 益子 貴史 東京工業大学, 大学院・総合理工学研究科, 助手 (90272715)
• Keywords: 動作生成 / 動作プリミティブ / 隠れマルコフモデル / コンテキストクラスタリング

Research Abstract

本研究では,音声・唇動画像と同期した手話の生成を目的とし,HMMに基づく手指動作の学習,生成の検討を行っている.
本手法では,一連の動作を基本単位(動作プリミティブ)に分割し,動作プリミティブ毎にHMMを学習する.動作生成時には,生成したい任意の動作を動作プリミティブの列で表し,これに従って動作プリミティブHMMを連結することにより,生成したい動作全体を表すHMMを作成する.この動作HMMから尤度最大基準に基づくパラメータ生成手法により動作パラメータ列を生成し,可視化することによって動作のアニメーションを合成する.
まず,動作プリミティブHMMからの動作生成が可能であることを確認するため,モーションキャプチャおよびデータグローブにより腕および手指の動作をそれぞれ収録し,これを学習データとして動作プリミティブHMMの学習を行った.そして,動作プリミティブHMMを連結して学習データと同じ動作を表す動作HMMを作成し,動作の生成を行った.その結果,収録データと同様の自然で滑らかな動作を生成できることを示した.
また,学習データとは異なる動作プリミティブの列に対しても自然で滑らかな動作が生成できることを確認し,動作プリミティブを組み合わせることによって収録データとは異なる様々な動作を生成できることを示した.さらに,決定木に基づくコンテキストクラスラリングを応用することにより,学習データに含まれない手指形状も生成できることを示した.

Research Products

• [Publications] 羽岡 哲郎, 益子 貴史, 小林 隆夫: "隠れマルコフモデルに基づくハンドジェスチャーアニメーション生成"電子情報通信学会技術研究報告. vol.102, no.519. 43-48 (2002)
• [Publications] 吉岡 元貴, 益子 貴史, 小林 隆夫: "隠れマルコフモデルに基づく腕の動きの生成"情報処理学会第65回全国大会講演論文集. (発表予定). (2003)
• [Publications] 高御堂 雄三, 羽岡 哲郎, 益子 貴史, 小林 隆夫: "隠れマルコフモデルに基づくハンドジェスチャー生成の検討"情報処理学会第65回全国大会講演論文集. (発表予定). (2003)