聴覚障害者のための手話・音声・唇動画像同時生成の研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13780321
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 益子 貴史 東京工業大学, 大学院・総合理工学研究科, 助手 (90272715)
• Keywords: 手話生成 / 隠れマルコフモデル / 手話・音声・唇動画像同時生成 / 動作ラベリング

Research Abstract

本研究では、聴覚障害者と健聴者が同時に利用できるヒューマンマシンインタラクションシステムの実現のため、同期した手話・音声・唇動画像の同時生成を目的としている。音声・唇動画像については既に「HMMに基づく音声・唇動画像同時生成システム」を提案し、その有効性を確認している。そこで、これと同様の枠組による、HMMを用いた手指動作の学習、生成の検討を行っている。
本年度は、まず、HMMからのパラメータ生成手法について検討を行った。従来のパラメータ生成手法ではパラメータ間の相関を考慮していないため、そのまま手指の形状や動きを表すパラメータの生成に応用した場合、空間上で手や指が重なるなどの不具合が起こる可能性がある。そこで、パラメータ間の相関を考慮したモデル化、生成手法について検討を行った。さらに、パラメータに対して明示的な制限を加えた場合の生成手法についても検討を行った。
また、手指動作のラベル付けについても検討を行った。手話は単語毎に一連の動作が定義されているため、単語を単位としてモデル化するのがもっとも自然であると考えられる。しかし、全体では異なる手指動作でも手の形状が同じである場合には、手の部分を共通の一つのHMMでモデル化した方が効率が良いと考えられる。また、手話以外の動作のモデル化への応用を考えた場合には、単語に相当するような単位を定義することは難しく、各部位毎にある程度独立に動作を表現できた方が望ましい。そこで、体の各部位毎に異なるラベルを付け、一つの動作を各部位のラベルの集合として表現する手法について検討を行った。