手話における非手指動作の機能の分析とその手話画像への導入効果

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700140
• Research Institution: Tsukuba College of Technology
• Principal Investigator: 河野 純大 筑波技術短期大学, 電子情報学科情報工学専攻, 助手 (90352567)
• Keywords: 手話 / 非手指動作 / 手話画像 / 聴覚障害者 / 頷き

Research Abstract

本研究は手話通訳者によって表現される手話における非手指動作の分析と手話画像の合成、非手指動作の手話画像への導入並びに導入効果を明らかにすることを目的としている。本年度では,まず手話通訳者によって表現される非手指動作の機能の分析にあたり、日本語話者の発話内容を手話通訳する場面の映像データの収集を行った。次に日本語コーパスと手話コーパスからそれぞれで話されている単語列を抽出する作業を行っている。日本語と手話では文法構造が異なり、かつ手話では空間の利用によって単語の変形が起こることから、それらについても考慮することとした。また非手指動作については、視認性の高い頷き・瞬き・頭部運動についてその生起箇所を記録した。これと並行して細かい表情の表現を可能にするための手話画像のモデリングを試みた。これには表現の高速化を狙って変形のしない剛体部分と変形を伴う頂点管理部分を組み合わせることでの表現を目指している。同時に、手指動作や腕の表現などに関しても人間の動きに近いものを表現できるように工夫している。来年度の課題としては、まず収集したデータから非手指動作における構文解析・意味解析を行い、幾つかの非手指動作の文法規則の抽出を試み、それらの規則を導入した手話画像を合成すること、手話に堪能な聴覚障害者を被験者としてある非手指動作の文法規則・表現規則を導入した画像と導入しない画像を提示し、手話単語の正答率・手話文の理解率・見やすさなどに関する主観評価などを組みあわせた評価実験を行うこと、実験結果をさらなる非手指動作の機能の分析と手話画像の質の向上にフィードバックするための知見を得ること、が挙げられる。