対話言語としての手話の記述法のための認知機構解析に関する基礎研究

2002 年度 実績報告書

• 研究課題/領域番号: 14208030
• 研究種目: 基盤研究(A)
• 研究機関: 工学院大学
• 研究代表者: 長嶋 祐二 工学院大学, 工学部, 助教授 (50138137)
• 研究分担者: 原 大介 愛知医科大学, 看護学部, 講師 (00329822) ; 神田 和幸 中京大学, 教養部, 教授 (70132123) ; 市川 熹 千葉大学, 大学院・自然科学研究科, 教授 (80241933)
• キーワード: 手話 / 手話工学 / 認知科学 / 視線解析 / 対話解析 / ターンテイキング / コーパス / 音韻解析

研究概要

研究代表者および分担者が主要メンバーとなっている電子情報通信学会第3種手話情報学研究会に設置されているsIGNDEXワーキンググループでは、手話を工学的および言語学的な側面から解析することを目指した手話情報学および手話認知科学の立場で研究を行っている。本研究では、sIGNDEXの予備解析や収集して解析しつつある幾つかのコーパスからの非手指信号、セグメンテーション、話者と受信者との視線、ターンテイキングの発生メカニズム、音韻的解析などの詳細な解析を行った。主な結果を以下に示す。
1)対話におけるターンテイキングの発生メカニズム解析のための、ネイティブスピーカの協力により映像撮影を行った。そのデータをもとに昨年度までの科研で製作した対話映像解析支援システムを用い分析を行い、対話者間の手指および非手指信号の同期現象などを確認した。
2)対話の認知メカニズム解析のための視線データの収集では、当科研で購入した視線計測装置により、手話を母語者、通訳者、手話の習熟度別学習者の視線データを計測した。現在データは詳細分析中であが、視線の停留と習熟度との相関を示唆する結果を得た。
3)sIGNDEX100例文の詳細分析により、記述法のにおける非手指信号の分析手法の統一を検討した。
4)前年度の科研で作成した対話コーパスKOSIGNを用い、認知モデル構築に必要な非手指信号の抽出・切り出し方法の検討を対話映像解析支援システムを用い母語者の協力により行っている。
5)手話の音声言語学的側面および抑揚や感情表現の解析では、対話制御法を検討し頷き抑制効果による対話進行の分析を行った。その結果、頷きと話しやすさの関係が示唆された。
6)画像特徴からの非手指信号自動抽出のための対話映像解析支援システムの改良を目的とし、顔の構成要素の目、鼻、口の抽出方法をについて検討を行い、オフラインでの組込みのめどを立てた。また、サイバーグローブからの電子データと映像との同期解析機能の追加について検討を行った。
7)対話における認知機構解析のため、手話の調動と映像との同期解析システムを設計し、科研費により試作した。現在、試作システムの基本機能の評価実験を行っている。
以上のように、本年度研究目的及び実施計画はほぼ達成された。

研究成果

• [文献書誌] 長嶋祐二: "手話の映像と調動要素との同期解析支援システム"電子情報通信学会技術研究報告. WIT2002・80. 19-23 (2003)
• [文献書誌] 寺内美奈: "手話自由対話における手指信号および非手指信号の相関関係について"電子情報通信学会技術研究報告. WIT2002・80. 13-18 (2003)
• [文献書誌] Mina Terauchi, Yuji Nagashima, Kazuyuki Kanda Kazuyuki: "A Research on Turn-taking in JSL Conversation"Proceedings of International Conference on Information Technology & Applications2002. 1・190(CD-ROM). 1-5 (2002)
• [文献書誌] Kazuyuki Kanda: "Constraints on co-occurence s of manual and non-manual operations in JSL"Proceedings of International Conference on Information Technology & Applications2002. 1・189(CD-ROM). 1-4 (2002)
• [文献書誌] 寺内美奈: "手話対話における話者交替時の信号表出に関する実験的検討"ヒューマンインタフェース学会研究報告集. 4・4. 53-58 (2002)
• [文献書誌] Kazuyuki Kanda: "Lexicon of Sign Language : Lexical Structure of Japanese Sign Language"Proceedings of Linguistics and Phonetics 2002. 47-48 (2002)
• [文献書誌] 土肥修: "手話対話における頷きの影響に関する実験的検討"電子情報通信学会技術研究報告. 102・317. 45-50 (2002)
• [文献書誌] 内田直樹: "顔の動きによるアイマークの追尾に関する検討"電子情報通信学会技術研究報告. 102・317. 35-38 (2002)
• [文献書誌] 寺内美奈: "対話コーパスKOSIGNにみられる共起関係に関する基礎検討"電子情報通信学会技術研究報告. 102・254. 96-101 (2002)
• [文献書誌] 寺内美奈: "手話観測者の注視点移動に関する実験的検討"電子情報通信学会技術研究報告. 102・128. 64-69 (2002)
• [文献書誌] 長嶋祐二: "手話対話の特徴解析に関する基礎検討"電子情報通信学会技術研究報告. 102・128. 59-63 (2002)
• [文献書誌] Kazuyuki Kanda: "Notation System and Statistical Analysis of NMS in JSL(Gesture and Sign Language in Human-Computer Interaction)"Lecture Notes in Artificial Intelligence, Springer. LNAI.2298. 438-444 (2002)