3Dアニメーションによる手話電子化辞書構築に関する研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 07808040
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Kogakuin University
• Principal Investigator: 長嶋 祐二 工学院大学, 工学部, 助教授 (50138137)
• Keywords: 手話工学 / 電子化辞書 / 形態素 / 翻訳システム / アニメーション生成 / 手話 / 福祉工学 / マルチメディア

Research Abstract

手話工学の立場から我々は、日本語と手話との相互翻訳システムを究極の目標として研究を行っている。本研究の目的は、統語構造を満足するアニメーションの生成が可能なマルチコンセプト駆動型電子化辞書を構築することである。
本年度は、電子化辞書システムの構築に関して、昨年度に引続き認識部、映像データベース部、言語解析部、画像生成部の個々の機能別に検討を行った。
1.認識部では、大局的な調動解析部と手型のみの局所解析部に分けて検討を行った。大局的認識部では、新たにHMMモデルを構築し片手のみの手話による認識実験を行い、昨年度行ったDPマッチングより良好な結果を得た。また、手型解析部では、新たに表面筋電位による5指屈曲状態解析を可能にした。
2.映像データベース部では、昨年作成したテスト画像を基に辞書型を検討し、NHK手話ニュースキャスターの協力により約1,000単語収録した工学院大学手話映像データベースKOSIGN Ver.1を作成した。KOSIGNは、既に希望する大学の研究機関に配布し手話研究に役立ててもらっている。
3.言語解析部では、KOSIGNを基に提案しているNVS形態素結合モデルの記述を行った。その結果、このモデルでは非手指信号の記述の曖昧性が判明した。そこで、より詳細な非手指信号解析のためアイカメラを用いて、ネイティブスピーカーによる対話ベースの予備実験を行った。
4.画像生成部では、広く普及しているDOS/Vマシンへ3Dアニメーションエンジン部を移植した。また、聾者のコミュニケーション補助手段として、インターネットを介した手話アニメーション伝送を可能にした。
以上のように本年度研究目的および実施計画はほぼ達成された。

Research Products

• [Publications] 亀井 了: "インターネットを介した手話アニメーション伝送に関する検討" 電子情報通信学会ヒューマン情報処理研究会. HIP96-16. 87-92 (1996)
• [Publications] 亀井 了: "日本手話電子化辞書におけるヒューマンインタフェースについて" 計測自動制御学会ヒューマンインタフェース部会第12回ヒューマンインタフェースシンポジウム論文集(HIS96). 1234. 113-118 (1996)
• [Publications] 長嶋祐二: "形態情報駆動型手話アニメーションシステム" 電子情報通信学会教育工学研究会. ET96-86. 73-78 (1996)
• [Publications] 新谷明彦: "ニューラルネットワークによる手指調動の認識" 電子情報通信学会ヒューマン情報処理研究会. HIP96-25. 1-6 (1997)
• [Publications] 亀井 了: "手話対話における視線情報解析に関する基礎的検討" Human Interface News and Report. 12. 51-54 (1997)
• [Publications] 西田昌生: "HMMを用いた手話の調動認識" Human Interface News and Report. 12. 55-58 (1997)