| 研究概要 |
本研究の目的は、手話の認識、アニメーションの自動生成などを考慮した電子化辞書システムを構築することである。
本研究では、研究期間を通して3Dアニメーションによる電子化辞書システムの構築に関して、手話認識部、言語解析部、画像生成部、映像データベース部の機能別に検討を行った。
1.認識部では、大局的な調動認識にHMMモデル、手型認識に単眼カメラモデルを用いることにより、拘束の少ない手法を提案した。
2.言語解析部では、形態素および超分節音素の表記を可能としたNVGSモデルを提案した。また、手話の調動記述のための発音記号表記法を提案した。
3.画像生成部では、提案した発音表記記号からの完全規則合成法を提案し、非手指動作の表現も可能とした。さらに、インターネット上での利用の可能性も示した。
4.映像データベース部では、教育用辞書のための男女別、正面と左前の2台カメラモデルで、約1,100語彙からなる電子化辞書用画像データベースKOSIGN Ver.2の撮影を行った。
また、これら各部の機能を統合したマルチメディア環境におけるインタラクティブな3Dアニメーションによる手話電子化辞書システムのプロトタイプを構築した。
以上のように良好な結果が得られ、本研究目的および実施計画はほぼ達成された。また、これら成果のうち、アニメーション自動生成に関しては、1998年1月18日(日)にNHK総合テレビのNEWS7にて紹介された。また、インターネットでのアニメーション伝送に関しては、3月に行われる電気学会のシンポジウムで発表した。
また、計画最終年度のため、本研究計画全体から得られた成果の報告書を作成した。さらに、本研究の成果を論文にまとめる準備作業中である。
本研究成果から、手話のモダリティを解析することにより情報処理機器とのマルチモーダルインタフェースの要素技術の獲得に向け、研究を継続・発展させる重要性を感じた。
|
