| 研究概要 |
初等数学の世界を対象として現在開発中の対話支援型問題解決/知識獲得システムの教師の教示動作(発話文およびこれと同期した指示や例示などのジェスチャ)を意味解釈するアルゴリズムの開発と実験的評価を行うことにより,発話とジェスチャを併用した人間指向型ヒューマンインタフェースの有効性と実現可能性を明らかにすることを目的として,前年度に引き続き,今年度は以下の研究課題に取り組んだ。
1.ジェスチャ認識の実時間処理
パソコンに動画像追跡ボードを付加し,ジェスチャの実時間認識を試みた。ジェスチャは教師がペンを用いてドリルテキスト上で行う指示や例示動作である。認識は解決すべきテキストに対して45°の角度で鏡を立て,カラーCCDカメラをテキストの真上に設置し,ペン先の3次元座標が検出できるような環境で行う。ジェスチャによって変化するペン先の位置をカラー相関演算によって実時間で追跡する。得られた3次元座標系列の空間的・時間的変化パターンから,指示物の同定や,「囲む」,「線を引く」などの基本アクションをインクリメンタルに認識するプログラムを開発した。
2.連続音声認識方式による音声発話文の認識
前年度までのシステムによる発話文の認識は文節単位で行われており,教師は応答文を文節単位に区切って発話する必要があった。対話におけるこの不自然性を解消するために,連続音声認識ソフトウェアを導入して,本システムへの組込を試みた。予備実験により十分に使用可能であるとの見通しを得た。
3.マルチモーダル対話における情報統合方式の検討
問題解決・発話命題と様相の生成,CGによるジェスチャ生成,ジェスチャ認識,音声認識の各モジュールはLANで接続された複数台のコンピュータ上で動作している。データ量や実時間性などの情報の性質ならびに通信方式(ファイル渡し,ソケット通信など)の特徴に基づいて情報統合方式を検討した。
|
