聴覚・発声障害者支援用日本語文・CG手話画像変換辞書システムの開発

1997 Fiscal Year Annual Research Report

• Project/Area Number: 08558026
• Research Institution: Hokkaido University
• Principal Investigator: 青木 由直 北海道大学, 大学院・工学研究科, 教授 (90001180)
• Co-Investigator(Kenkyū-buntansha): 徐 軍 日本ナレッジインダストリー(株), 研究員 ; 棚橋 真 北海道大学, 工学研究科, 助手 (90250480) ; 川嶋 稔夫 北海道大学, 工学研究科, 助教授 (20152952) ; 山本 強 北海道大学, 大型計算機センター, 教授 (80158287)
• Keywords: 手話画像 / CGアニメーション / 手話動作記述 / MATLAB / アクション・ユニット / 手話通訳

Research Abstract

本年度は日本語単語に対応する手話のCGアニメーションを制作するためのシステム作りを行った。これは研究の目的の手話画像変換の核になる技術である。このCG手話アニメーションについては2通りの方法でシステム構築を行った。一つは,CGアニメーションをリアルタイムで表示するのに適したものとして,LISP言語とFORTH言語の中間的な言語であるLIFO言語を用いたシステムであり,手話画像としては品質を落とす代わりに,きわめて高速に手話動画を描画できるシステムを開発した。現在この手話単語の種類を増やしながら,CGアニメーション制作がより容易に行えるシステムにするための機能強化を行いつつある。ただし,LIFO言語によるシステムでは,手話動作を一つ一つ動作のパラメータをプログラム中で記述しながらアニメーションを作成していくため,アニメーション制作段階で時間がかかるという欠点がある。これに対処するためには,もっと上位の手話動作記述言語が必要であるとの認識に達しており,この点の研究は次年度の課題としている。もう一つのCGアニメーション作成方法として,描画速度はある程度犠牲にして,プログラムの作成が分かり易くなるMATLABを利用したシステムの構築を試みた。この方法でも簡単な手話のCGアニメーションを制作して検討を加え,手話動作のデザインの段階では有効な方法であるとの知見を得た。手話によるコミュニケーションではでは顔の表情も重要であり,顔の表情を辞書システムに取り込む方式の検討を行った。本研究の方式では,表情を言葉で表わすアクション・ユニット(AU)を用いてCG合成しており,顔に簡単な線画の表情を加えるだけで感情を伴った手話アニメーションとなる点を確かめた。本研究の方法は他の言語にも応用できる点に思い付き,韓国語やポルトガル語の手話にも応用し,日本語とこれらの言語の手話通訳の研究も開始した。

Research Products

• [Publications] 青木由直: "衛星通信を利用した知的通信方式による手話画像伝送の研究" 電子情報通信学会誌. 80・5. 441-442 (1997)
• [Publications] 呉 芝英: "An Implementation of sign Language Chatting System Using Intelligent Image Communication" 1997年度大韓電子工学会秋季綜合学術大会論文集. 20・2. 1221-1224 (1997)