| 配分額 *注記 |
10,200千円 (直接経費: 10,200千円)
2004年度: 2,100千円 (直接経費: 2,100千円)
2003年度: 2,400千円 (直接経費: 2,400千円)
2002年度: 5,700千円 (直接経費: 5,700千円)
|
|---|
| 研究概要 |
本研究の目標は,システムと人間とのインターフェイスとして,現在主流であるマウスとキーボードではなく,人間同士の間で取り交わされている言語と身振り・手振りなどを含めた非言語情報を用いた方法を取り入れることによって,発話と手指の運動機能を有する利用者であれば,誰でも簡単にシステムと対話し,複雑な機器の操作に苦しむことなく,機器の提供する機能やコンテンツの享受を可能とすることである.
我々は他者と会話をする場合,対話環境を共有している場合が多く,そのような場合は,表現したい内容を言語だけで表眼するのではなく,身振り,手振りそして表情などの非言語情報が利用される.本研究では,バーチャルモールやインターネットショッピングの様な仮想環境を対象とした利用者とシステムの代理者である仮想エージェント(アバタ)との対話を実時間で実現するために,大阪大学教授の八木哲也教授が開発したシリコン並列ビジョンチップと,複数台の計算機間で情報を瞬時に伝送できるSCRAM NETを用いたマルチモーダル情報の並列処理を行った.
シリコン並列ビジョンチップを用いて,指指し時における手の停止を検出し,手領域のみをCCDカメラで撮像することにより,手が指さしをしているかどうかが短時間で検出可能となる,一方,音声認識では,第1フェースで,それ,これ,あれといった指示代名詞を検出し,その発話時間と指さしの定時時間とをスクラムネットを介して照合することにより,発話と手振りの同期認識を達成し,指さしの対象を同定した.次に発話文中の指示語をダウ挺された対象で置換することにより,利用者の要求を解析することができる.要求を充たす回答は,発話と同期した動作を用い手アバタにより実現される.指差しの対象指示の曖昧性は,利用者からの否定を表す割り込み操作により解決を図った.
|
