2006 Fiscal Year Annual Research Report
手指ならびに非手指情報の画像計測と統合に基づく実用的手話翻訳の研究
| Project/Area Number |
16091204
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
白井 良明 立命館大学, 情報理工学部, 教授 (50206273)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
島田 伸敬 立命館大学, 情報理工学部, 助教授 (10294034)
三浦 純 大阪大学, 大学院工学研究科, 助教授 (90219585)
|
|---|
| Keywords | 手話通訳 / 画像認識 / 手指形状計測 / 表情計測 / 情報福祉 |
|---|
| Research Abstract |
1.カラーを用いて手や顔の領域を得ているが、カラーは人によって異なるため、最初にそれぞれの領域を人が教え、そのカラーを基準としてカラー空間における肌色を定義している。これを自動化するため、だいたいの顔位置とカラーの範囲だけをあらかじめ与え、自動で顔の候補領域を求め、その大きさと領域のカラーの範囲から新しいカラーの範囲を推定するという過程を繰り返す方法を開発した。
さらに、手が早く動く場合には背景に近い部分が背景のカラーと混じるという現象があるので、それによって誤ったカラー領域を設定しないような工夫を行った。
2.手と顔が重なる場合、肌色領域から最初に顔領域を推定し、残りの肌色領域の中で、重なる前の手との相関が大きくなる部分が手の領域としていた。なお、顔領域の推定は、重なる前の顔画像との相関を用いて、一定以上の相関をもつ領域としていた。ところが、この推定は必ずしも正確でないので、得られた顔領域の確からしさを定義し、それに基づいて顔との相関を求める方法に改良した。
さらに、顔の外側の肌色領域を手と解釈することを優先するような方法に改良した。
3.手話のサンプルが不充分のために、HMMの学習精度が低いので、少ないサンプルから疑似的なサンプルを生成して、安定したHMMを求める研究を継続した。合成データを用いてHMMを学習することによって、ある程度の性能向上が得られたが、その差はわずかであった。その原因は、特徴抽出が十分でないため、加えたサンプルが平均から大きく外れてしまうことであることがわかった。そこで、安定に特徴を抽出する方法を研究し、性能の向上をはかった。
4.隠れマルコフモデル(HMM)を用いて手話を学習して認識しているが、従来は、自己ループ以外は枝分かれのないHMMであった。このモデルは、同じ単語でも、手話を行う人、あるいは手話を行う速度に依存して状態遷移が変わる場合には、それぞれに対して1つずつのモデルを用意する必要があった。これを一つのモデルとするためには自己ループ以外の枝分かれを含む必要がある。枝分かれのモデルは、自動で学習する方式が確立していなかったので、自動で枝分かれを生成する学習方法を研究して、基本部分を実装した。
4.手話の認識に役に立つ表情認識を研究し、表情を得るために必要な顔の特徴点を決める方法を拡張して、顔が傾いたり口を開けている場合にも特徴点を得られるようにした。
さらに、疑問、喜び、怒りによって特徴がどのように変化するかを調べ、表情認識を実装した。限られたサンプルに対して妥当な性能が得られた。
|
