対話言語としての手話の記述法のための認知機構解析に関する基礎研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14208030
• Research Institution: Kogakuin University
• Principal Investigator: 長嶋 祐二 工学院大学, 工学部, 教授 (50138137)
• Co-Investigator(Kenkyū-buntansha): 原 大介 愛知医科大学, 看護学部, 講師 (00329822) ; 神田 和幸 中京大学, 教養部, 教授 (70132123) ; 市川 熹 千葉大学, 大学院・自然科学研究科, 教授 (80241933)
• Keywords: 手話 / 手話工学 / 認知科学 / 視線解析 / 対話解析 / 画像符号化 / コーパス / 音韻解析

Research Abstract

本研究の目的は、言語学、音声対話や認知科学からの先見的な知識を基に、手話の非手指信号の機能やコミュニケーションのための認知機能を解明することである。非手指信号の解析では、手話を母語とする手話者とアバタとの対話映像を言語学および認知科学的手法に基づいて詳細な分析を行っている。
本年度は、昨年度に撮影した対話の分析、試作した映像とアバタとの対話システムにより性能評価実験とその結果を踏まえて手話の動きの電子コーパスの収集、対話による認知およびリズムメカニズム解析実験、手話単語データベースの追加撮影などを行った。主な結果を以下に示す。
1)3次元の運動データ・指関節角度と実映像が同期した手話実映像/電子コーパスの作成のための、ネイティブスピーカおよび健聴者の協力により映像撮影を行った。
2)対話の認知メカニズム解析のための、手話実映像/電子コーパスの電子タグ付けならびに、3次元データを描画するシステムの構築を行った。このシステムにより解析時間の効率化が図れた。
3)sIGNDEX100例文の詳細分析により、記述法における非手指信号の分析手法の統一を検討した。
4)手話単語データベースKOSIGN Ver.2に不足していた、最近のIT用語を追加するために400単語の抽出を行い撮影した。
5)前年度の科研で作成した対話コーパスKOSIGNを用い、認知モデル構築に必要な非手指信号の抽出・切り出し方法の検討を対話映像解析支援システムを用い母語者の協力により行っている。
6)手話の音声言語学的側面および抑揚や感情表現の解析では、ドラえもんと能面の手話を撮影し解析を行っている。解析途中であるが、表出可能な身体動作への変形メカニズムの存在が示唆された。
7)携帯情報端末を利用した手話映像の効率的な符号化を目指した、ビットレートとフレームレートに関する予備的な実験を行った。その結果、10fps以上の画像で伝送で読み取りが可能となった。
以上のように、本年度研究目的及び実施計画はほぼ達成された。

Research Products

• [Publications] 中園薫: "デジタル符号化された手話動画像の品質評価(2) -オピニオン試験による評価-"電子情報通信学会技術研究報告. 103・747. 25-30 (2004)
• [Publications] 柳橋史織: "テジタル符号化された手話動画像の品質評価(1) -書き取り試験による評価"電子情報通信学会技術研究報告. 103・747. 19-24 (2004)
• [Publications] 李昌宏: "動きベクトルを用いた手話単語分類"電子情報通信学会技術研究報告. 103・746. 65-70 (2004)
• [Publications] 長嶋祐二: "高齢者・障害者支援とバリアフリー技術の動向"ヒューマンインタフェース学会論文誌. 5・4. 397-412 (2003)
• [Publications] 田崎大: "点接触型蝕力覚提示における3次元形状認識の要因効果に関する実験検討"ヒューマンインタフェース学会論文誌. 5・4. 437-446 (2003)
• [Publications] 長嶋祐二: "ヒューマンインタフェースの研究・開発過程-手話自動翻訳システムの開発"電気学会誌. 1-23・6. 362-365 (2003)
• [Publications] Yuji NAGASHIMA: "Characteristics of Sign Language and Barrier Free Technology for its Recognition and Generation"Proceedings of Workshop on Universal Design for Information Communication and Broadcasting Technologies. 1・1. 115-220 (2003)
• [Publications] Kazuyuki KANDA: "Non-Manual Signals in Japanese Sign Language"Proceedings of HCI International 2003. 4. 216-220 (2003)
• [Publications] Kazuyuki Kanda: "Lexicon of Sign Language : Lexical Structure of Japanese Sign Language"Proceedings of HCI International 2003. 4. 216-220 (2003)
• [Publications] 長嶋祐二: "手話における手指動作の三次元可視化"可視化情報. 23・suppl.1. 335-338 (2003)
• [Publications] 住田英之: "手話動作の時間構造解析の基礎的検討"ヒューマンインタフェース学会HIS2003. 2321. 329-332 (2003)
• [Publications] 米原裕貴: "視線解析における解析パラメータに関する基礎的考察"電気学会計測研究会資料. IM-03-82. 1-6 (2003)