3Dアニメーションによる手話電子化辞書構築に関する研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 07808040
• Research Category: Grant-in-Aid for General Scientific Research (C)
• Research Institution: Kogakuin University
• Principal Investigator: 長嶋 祐二 工学院大学, 工学部, 助教授 (50138137)
• Keywords: 手話工学 / 電子化辞書 / 形態素 / 翻訳システム / アニメーション生成 / 手話 / 福祉工学 / マルチメディア

Research Abstract

手話工学の立場から我々は、日本語と手話との相互翻訳システムを究極の目標として研究を行っている。本研究の目的は、認識・生成を考慮した言語学的構造解析を行い、手話としての統語解析を満足するアニメーションの生成が可能な電子化辞書を構築することである。
電子化辞書構築に関しては、認識部、映像データベース部、言語解析部、画像生成部の個々の機能別に検討を行った。
1.画像認識部では、科研費により購入した高精細カメラにより片手動作の大局的な調動解析を行った。その結果、調動認識では単眼カメラモデルを用いることで非接触な画像による認識の可能性を示せた。
2.映像データベース部では、購入したビデオカメラおよび保有する光ビデオディスク装置を利用し、ネ-ティブサイナ-、手話通訳士などの協力により約500単語の認識および言語解析用映像データベースの作成を行った。録画映像の調査の結果、サイナ-の個人差による調動の揺れが、かなりあることがわかった。次年度以降、個人による手話の調動の揺れを押さえるため、NKK手話ニュースで用いられている手話を採用することにした。
3.言語解析部では、映像データベースから、音韻、音声、形態論的な基礎的言語構造分析を提案した手話のNVS形態素結合モデルを用いて行った。手話の記述には音声言語のIPAを念頭に置いた手話の発音記号表記法について検討した。
4.画像生成部では、非手指動作の表現が可能な3Dアニメーションを、市販のマイクロコンピュータにより実時間で描画し、両手の前後関係も容易に理解できる基本システムを構築した。また、3次元空間上の調動を理解しやすくするため、液晶シャッターを用い両眼立体視による手話の立体表現を、マイクロコンピューター上で実現した。
以上のように本年度研究目的および実施計画はほぼ達成された。

Research Products

• [Publications] 長嶋祐二: "カラー画像処理による指文字認識" 画像ラボ. 6. 50-53 (1995)
• [Publications] Yuji Nagashima: "Recognition of Global Articulator of Signs" Proc. of International Workshop on Human Interface Technology 95 (IWHIT 95). 45-51 (1995)
• [Publications] M. Terauchi: "Fundamental Study of Constructing JSL Learning Support System for theBeginners" Proc. of 6th International Conference on Human-Computer Interaction(HCI International'95). (1995)
• [Publications] Y. kato: "Fundamental Research Work for the Computrized Dictionary of Japanese Sign Language" Proc. of 18th International Congress on Education of the Deaf. (1995)
• [Publications] 藤森憲男: "マルチコンセプト駆動型電子化辞書の構築" 計測自動制御学会ヒューマンインタフェース部会第11回ヒューマンインタフェースシンポジウム論文集(HIS95). 11. 77-82 (1995)
• [Publications] 藤井昌紀: "2次元の次空間画像による手話の大局的な調動認識" 計測自動制御学会ヒューマンインタフェース部会第11回ヒューマンインタフェースシンポジウム論文集(HIS95). 11. 179-184 (1995)