多元ジェスチャー辞書を利用した日本語・ジェスチャー間相互翻訳システム

1992 Fiscal Year Annual Research Report

• Project/Area Number: 04452193
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: 黒川 隆夫 京都工芸繊維大学, 工芸学部, 教授 (00029539)
• Keywords: ジェスチャー / 手話 / ジェスチャー辞書 / 日本語 / 機械翻訳 / コード

Research Abstract

多非音声(ノンバーバル)言語を人と機械のインタフェース言語として導入するための研究の一環として手話を含むジェスチャーと日本語の間の相互翻訳をコンピュータで行うためのいくつかの研究を実施した。
1.インタフェース言語としてのジェスチャーの有効性を検討するために,コンピュータで多用されるデスクトップ画面を対象としてオブジェクトを日常的事物のメタファで表現し,それを各メタファより類推可能なジェスチャーで操作できるシステムを試作した.実験による評価を行った結果,採用するジェスチャーが適切でジェスチャー認識が確実になれば非常に自然なインタフェースを実現可能となることが示された.
2.手話の時空間構造の分析を行い,ジェスチャーや手話のセグメンテーションと認識,日本語との間の翻訳に必要な情報を得た.特に手話の静止区間がセグメンテーションや手話表示に活用可能なことが判明した.
3.両手によるジェスチャーと手話のトラッキングを行うシステムをDataGloveを用いて構築した.
4.DataGloveからのジェスチャー入力を前提とする手形状コードを作成し,3.のシステムで得られるジェスチャーと手話がコーディング可能なことを確認した.またこのコード列とそれの意味(日本語)をデータとするジェスチャー辞書を試作し,コード列から日本語へ,また日本語からコード列への変換が原理的に可能なことを示した.本辞書は他にジェスチャーの身体座標表現,画像表現を含むように拡張可能であるという意味で多元的である。
5.簡単な手話文を日本語の単語例に翻訳可能なことを確認した.
6.今後は,辞書の語彙を増やすとともに,ジェスチャー・コードの補強,日本語処理の実施,手話の画像表現の完成などを課題とする研究を行い,日本語からジェスチャー・手話への翻訳も試みる所存である.

Research Products

• [Publications] 森地 徹: "手話翻訳のための身振りコーディング法" Human Interface. 8. 117-122 (1992)
• [Publications] 渡辺 茂晃: "ジェスチャーによるデスクトップ・オブジェクトの操作" Human Interface. 8. 535-540 (1992)
• [Publications] 森本 一成: "機械翻訳を目標とした手話の時空間構造の分析" Human Interface. 8. 621-626 (1992)
• [Publications] 黒川 隆夫: "ノンバーバル・インタフェース" 1992ヒューマン・インタフェース講習会資料. 143-171 (1992)
• [Publications] 黒川 隆夫: "手形状コードの導出とそれを用いた身振り辞書" ヒューマン・インタフェース研究論文集. 1. 9-18 (1992)
• [Publications] 黒川 隆夫: "ヒューマン・インタフェースを探る3:ノンバーバル・インタフェース" Computer Today. 10〔1〕. 60-67 (1993)