日本手話発話中の話者の顔表情に表れる言語情報の画像認識とその手話認識への応用

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14658108
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 安本 勝哉 独立行政法人産業技術総合研究所, 脳神経情報研究部門・脳情報工学研究グループ, 主任研究員 (10344186)
• Keywords: 日本手話会話映像 / プロンプター状装置 / 指文字 / カーネル法 / 赤外線反射画像

Research Abstract

手話の一要素である指文字の内、五十音中、静止状態で表現する41文字種を対象に、従来法とは異なり,奥行き情報を輝度値として含みかつ背景画像を含まない赤外線反射画像に対して,カーネル法により特徴ベクトルを生成し,判別分析により4人分の指文字認識を試みた。その結果,カーネル関数の前段にK-平均法によるクラスタ数のある程度の削減を行い、かつ、カーネルの幅に適当な値を選ぶことにより、未知データに対する認識率の向上が可能であることを見いだした。
また、自然な手話会話映像を得るため、手話者の上半身を撮影可能なプロンプター状装置を設計・試作した。二人が向き合った状態で手話会話することを想定した。この装置を用いる場合にはハーフミラーに映った映像を各々が相手にすることになる。画面を上向きに置いたモニターの上に、反射面を45°下に傾けたハーフミラーを設置し、スルー方向になるハーフミラー越しにはビデオカメラを設置し、そのビデオカメラからの手話者の映像を電気的に左右反転させ、もう一台の装置の(相手方の)モニターに写し出し、ハーフミラーで反射させて相手に見せるようにした。このようにすることで、目線情報等、手話を形づくるのに有効と言われる要素に不自然さを伴うことのない手話会話映像を得ることができると期待される。

Research Products

• [Publications] 安本勝哉, 水野純也, 栗田多喜夫: "カーネル判別分析による指文字認識"第8回画像センシングシンポジウム論文集(ISBN 4-9901303-8-3). 511-514 (2002)
• [Publications] K.Yasumoto, J.Mizuno, T.Kurita: "Improvement of Generalization Ability of Kernel-based Fisher Discriminant Analysis for Recognition of Japanese Sign Language Hand Postures, "YUBI-MOJI", using K-mean Method"Proceedings of IAPR Workshop on Machine Vision Applications (MVA 2002) (ISBN 4-901122-02-9). 269-272 (2002)