| 研究概要 |
まず,身振り手振りに意味をもたせて計算機とコミュニケーションを円滑に行える環境の基礎作りのために,指文字で計算機に指示を与えることができるようなパターン言語処理システムの構築を目指した.具体的には,テレビカメラで映し出された指文字の映像から手の形状と動きを認識し,指文字が意図する命令を解読する試みである.高速処理が可能な指文字抽出アルゴリズムを考案し,実際にシステムとして構成してみた.この試みは、一方では指文字に代わる新たな方法、即ち指示棒を用いる方法を生み出す契機となった.これは,処理の高速性,位置情報の指定の容易さなど優れた特質も持つもので,その将来性が期待できる.
この研究により指文字に代わる新たな方法として,指示棒を用いるインターフェイスの実用性が高いことが得られていたので,次に,その試作インターフェイスを構築した.この試作インターフェイスでは,ビデオカメラから得られる画像から指示棒を抽出し,リアルタイムにその3次元座標の推定値が得られる.これにより指示棒を3次元のポインティングデバイスとして利用できることが明かとなったので,具体的な操作性を検討するために音声認識と組み合わせてマルチモーダルインターフェイスを構成し,その上に試作アプリケーションとして3次元の積木の世界を作成し評価を行なった.その結果,このマルチモーダルインターフェイスは手軽でユーザーが使い易いものであることが明かとなった.
一方で,将来的にパターン言語として指文字を扱えるようにするため研究を並行して行なった.画像処理により指文字などのパターン言語を認識するための主たる問題点であるオクルージョンを解決するために,複数のカメラを相補的に用いる方法を検討し,問題解決の糸口が見えてきた.また,パターン言語と音声言語を組み合わせてたインターフェイスを構築するために必要不可欠である音声認識に関して,音声認識システムの構成に関する考察及び背景雑音から音声を抽出する方法に関する新たな手法を開発し,その評価から背景雑音を含む環境下においても音声認識を活用できる可能性を認めることができた.
|
