マン・マシンインターフェイスのためのパターン言語処理システムの研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 06808039
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 吉田 隆一 九州工業大学, 情報工学部, 助教授 (70200996)
• Co-Investigator(Kenkyū-buntansha): 大橋 健 九州工業大学, 情報工学部, 助手 (00233239)
• Keywords: ヒューマンインターフェイス / マルチモーダルインターフェイス / 情報統合 / 画像処理 / 画像認識 / 音声認識 / 音声抽出

Research Abstract

前年度の研究により指文字に代わる新たな方法として、指示棒を用いるインターフェイスの実用性が高いことが得られていたので,本年度は,その試作インターフェイスを構築した.この試作インターフェイスでは,TVカメラから得られる画像から指示棒を抽出しリアルタイムにその3次元座標の推定値が得られる.これにより指示棒を3次元のポインティングデバイスとして利用できることが明かとなったので,具体的な操作性を検討するために音声認識と組み合せてマルチモーダルインターフェイスを構成し,その上に試作アプリケーションとして3次元の積木の世界を作成し評価を行なった.その結果,このマルチモーダルインターフェイスは手軽でユーザが使い易いものであることが明らかとなった.一方で,将来的にパターン言語として指文字を扱えるようにするため研究を並行して行なった.画像処理により指文字などのパターン言語を認識するための主たる問題点であるオクルージョンを解決するために,複数のカメラを相補的に用いる方法を検討し問題解決の糸口が見えてきた.また,パターン言語と音声言語を組み合わせてたインターフェイスを構築するために必要不可欠である音声認識に関して,音声認識システムの構成に関する考察及び背景雑音から音声を抽出する方法に関する新たな手法を開発しその評価から背景雑音を含む環境下においても音声認識を活用できる可能性を認めることができた.

Research Products

• [Publications] T.Ohashi: "Multimodal interface with Speech and Motion of Stick : CoSMoS" Symbiosis of Human and Artifact,Auzai et al. (Editors), Elsevier. 20A. 207-212 (1995)
• [Publications] 伊藤隆史: "調波構造とホルマントに着目した音声抽出" 情報処理学会九州支部研究会報告. 44-53 (1996)
• [Publications] 大橋 健: "指示棒を用いた仮想オブジェクト操作" 電子情報通信学会技術報告. MVE95-63. 25-32 (1996)