|
対話型自然言語である話し言葉において文構造情報や対話制御情報として重要な役割を持つ抑揚に相当する情報の存在を日本手話にも仮定、その実験的検討をおこなった。これらの情報の推定を、語彙情報と同時になんらかの情報から実時間で行う必要がある。対話に於ては実時間処理が重要だからである。また、実時間理解を容易にするためには、自然な言語としてのリズムが備わっていることも重要である。
本研究は、その手法探索を目的とし、(1)手話表現の自然なリズムの抽出と、(2)手話の抑揚情報としての顔、眉、口などの動きを検出する手法の開発を試みた。
先ず聾者と健聴者併せて10名の手話をデータグローブを用いて分析した。聾者の手話ではその文中に4〜5Hzの周期性があが、健聴者(手話を1.5〜5年程度学習した者)ではその周期性が観測されなかった。このことは、聾者が健聴者の手話を不自然に感じる原因が、日本語対応手話の場合が多いというだけでなく、言語としてのリズムも不自然であることを示していると考えられる。手話のみならず音声言語を含め、言語のリズムに関しては最近幾つかの議論が持ち上がっており、それらの研究との関係をも含め、手話言語のリズムの本質を解明にする研究に発展させる必要があることが明らかになった。
手話に伴う言語情報としての顔の動きが持つ抑揚抽出法としては、伝統的画像処理法とは異なる簡易な方法としてリレーDP法を提案し、顔の各部位の動きの追跡可能性を示した。今後は眼鏡などの装着時や、手が顔を遮るような手話表現での処理法などに拡張する課題が残されている。
本研究の結果、手話にも抑揚に相当する情報があるとの仮定はほぼ妥当と結論して良かろう。また、そのための新しい観測手法の提案をすることが出来た。これらの成果の結果、今後更に本格的研究へと展開するための糸口が得られた。
|
