| 研究概要 |
本研究は日本手話と日本語の間の相互翻訳をコンピュータで行い,聴覚障害者のコミュニケーション環境を改善することを目標とするものである.
1.特定の手話ニュース通訳者が話す手話をコーパスとして手話文データベースを構築した.このデータベースでは日本語単語を入力してKWIC検索を行うことができ,様々な文脈で手話がどのように表現されるかをビデオ画像で比較することができる.このデータベースを用いて,手話文法のうち,動詞の語形変化,指差しの機能,時制とモダリティの用法について分析を行った.別に手話に伴う非手指動作から眼の開閉,頭部の運動,表情を選び,これらと手話単語,文脈との関係の分析を行い,これらが一定の意味情報,統語情報を担っていることを明らかにした.
2.手話に用いられる手型のうち31種を対象としてニューラルネットワークと有限状態オートマトンによって手話単語を認識するシステムを試作した.現段階での手話単語認識率は70〜85%である.
3.格フレームによって表現された日本語を手話の格フレームに変換する、とともに,これを手話アニメーション(手話画像)の規則合成に必要なリスト表現に変換するシステムを開発した.またこの変換に必要となる手話辞書の作成を行った.
4.日本語単語,日本語文(文節ごとの分かち書き)を入力して手話画像を自然な速度で出力する部分を完成させた.さらに,3.で得られる情報に基づいて手話を合成し,これまで導入されていなかった手話文法の一部に合致した手話を生成することに成功した.さらに内蔵する手話語彙を増やした.
5.手話画像に用いる人物モデルを認識しやすく改良した.また人間の行う手話動作の速度変化を計測し,それを手話画像の合成に速度パターンとして取り入れ,自然な手話表現を可能にした.また3次元空間の任意の平面において複雑な手の軌跡を表現可能にした.
6.ニュースおよび胃のレントゲン検査における受検者への指示を手話画像を,実際の手話通訳者の手話を参考にして改良し,聴覚障害者による評価を実施した.
7.以上の研究を通して,人物モデルの構築と制御法,手話文デーベースの構築と応用,日本語および手話の言語処理,手話アニメーションの規則合成など多数の技術を確立することができた.これらのほとんどは一つのシステムに統合され,特に日本語を手話に翻訳する部分の実用化に利用可能な状況になった.
|
