聴覚・発声障害者支援用日本語文 CG手話画像変換辞書システムの開発

1998 Fiscal Year Annual Research Report

• Project/Area Number: 08558026
• Research Institution: HOKKAIDO UNIVERSITY
• Principal Investigator: 青木 由直 北海道大学, 大学院・工学研究科, 教授 (90001180)
• Co-Investigator(Kenkyū-buntansha): 徐 軍 日本ナレッジインダストリー(株), 研究員 ; 棚橋 真 北海道大学, 大学院・工学研究科, 助手 (90250480) ; 川嶋 稔夫 北海道大学, 大学院・工学研究科, 助教授 (20152952) ; 山本 強 北海道大学, 大型計算機センター, 教授 (80158287)
• Keywords: 手話CGアニメーション / 手話辞書 / 手話動作記述 / MATLAB / LIFO / アクション・ユニット / 表情形成

Research Abstract

本研究の目的である日本語文CG手話画像変換辞書システムの開発に関しては、3種類のプログラミング言語及びツールによる方法の開発研究を行なった。これは、本研究の手話のCGアニメーションの制作と利用によっては、異なったプログラミング言語やツールを利用するのが適しているためである。まずC言語を用いてシステムの開発を行い、高速なCG手話アニメーション表示用にはLispとForthの中間言語であるLifo言語の機能を拡張しながら、手話のCGアニメーション制作が可能なシステムを構築した。手話動作のデザインの簡便さやソフトウェアの保守性の良さの観点から、CUI機能が拡充されて来ているMATLABを用いたCG手話アニメーション作成システムを関発した。単語入力により手話動作のアニメーションを表示するため、単語に対応した基本手話動作を腕や手の関節角パラメータで記述し、これから手話のアニメーションを生成する手話画像変換辞書システムの骨格部分を試作し、アニメーションを幾例か制作した。手話で感情を伝えるためには表情が重要である点を考慮して、表情をCGで形成する方法も辞書システムとして取り込む事を・試みた。その際顔の表情形成をアクション・ユニット(AU)で記述・描画する方法をシステムに組み込み、評価実験を行なった。2次元の簡単なモデルでも、表情の付加によりかなりのレベルで感情を伝える事が可能である点を実証した。この結果、今後開発が進むと予想される漫画チャットにも利用できる点や日韓での手話通信に利用できる可能性についての知見を得た。聴覚・発声障害者による試作したシステムの評価実験は充分なものではなく、今後の課題として残された。

Research Products

• [Publications] 青木由直: "衛星通信を利用した知的通信方式による手話画像伝送の研究" 電子情報通信学会誌. 80.5. 441-442 (1997)
• [Publications] 呉 芝英: "An Implementation of Sign Language Chatting System Using Intelligent Image Communication" 1997年度大韓電子工学会秋季綜合学術大会論文集. 20.2. 1221-1224 (1997)
• [Publications] Y.Aoki: "Sign Language Communication Between Japanese-Korean and Japanese-Portuguese Using CG Animation" Proc.of IEEE Int.Conf.on Acoust.,Speach,and Signal Processing. Vol.6. 3765-3768 (1998)
• [Publications] 李 今燦: "日韓手話通信のためのCGアニメーションシステム構築の基礎的検討" 電子情報通信学会論文誌D-II. J82-D-II(掲載予定). (1999)