| 研究概要 |
初等数学の世界を対象として現在開発中の対話支援型問題解決/知識獲得システムの教師の教示動作(発話文およびこれと同期した指示や例示などのジェスチャ)を意味解釈するアルゴリズムの開発と実験的評価を行うことにより,発話とジェスチャを併用した人間指向型ヒューマンインタフェースの有効性と実現可能性を明らかにすることを目的として,今年度は以下の研究課題に取り組んだ。
1. 発話文およびジェスチャの統一的意味記述形式の検討
発話文とジェスチャによって伝達される意味内容を記述するために図形操作表現フレームと事物フレームを定義した。前者は事象概念を格構造で表現したものであり,後者は事象に関わる事物概念を表している。
2. ジェスチャにおける3次元位置座標の検出と特徴抽出アルゴリズムの開発
ジェスチャ認識は教師のペン先の位置の空間的・時間的変化パターンに着目して行う。まず,問題解決すべきドリルテキストに対して45ﾟの角度で鏡を立て,カラーCCDカメラをテキストの真上に設置し,ペン先の3次元座標が検出できるような環境を構築した。次に,ペン先の座標系列から特徴を抽出し,指示物の同定や,「囲む」,「線を引く」などの基本アクションを認識するプログラムを開発した。
3. 音声発話とジェスチャの協調認識方式の検討
音声認識装置により得られた発話文の認識候補系列とジェスチャ認識により得られた結果を統合して,最終的な結果である図形操作表現フレームと事物フレームを生成するプログラムを開発した。
4. コンピュータグラフィックス(CG)によるジェスチャ生成プログラムの開発
システムが教師と対話したり問題解決するときに必要となる「指示」,「囲む」,「結ぶ」,「数字を書く」,「塗る」などのジェスチャをCGアニメーションにより生成するプログラムを開発した。
|
