| 研究概要 |
初等数学の世界を対象として開発中の対話支援型問題解決システムの教師の教示動作(発話文と指示や例示等のジェスチャ)を意味解釈するアルゴリズムの開発と実験的評価を行い,発話とジェスチャを併用したインタフェースの有効性と実現可能性を明らかにすることを目的として,今年度は以下の研究課題に取り組んだ。
1.問題解決部と対話制御部の統合
Prologで実装されていた問題解決部とC言語で実装されていた対話制御部(発話およびジェスチャの協調理解部ならびに協調生成部)を統合するために,問題解決部をC++言語で全面的に書き改めた。さらに,文字ベースの対話制御部をC++言語で新たに開発し,問題解決部と結合することで,小学校1年算数のドリルテキストの問題16個を対話を交えて解決できることを確認した。以上より,前年度までに開発した発話とジェスチャの協調理解サブシステムを問題解決部に統合する見通しが得られた。
2.システムの知識ベースの再構築
対話支援型問題解決システムをオブジェクト指向型言語C++で書き改める際に,問題解決のためのコマンド群,単語辞書,格フレーム,図形構造表現,意味素性の階層構造等の記述形式とアクセス方式の見直しを行い,これらの情報が各サブシステムから参照でき,修正や追加が容易に行えるように改良した。
3.マルチモーダルインタフェースとしての評価
音声合成装置による発話とCGによるジェスチャを並行して生成するために,命題情報と発話意図を含むマルチモーダル意味表現,意味のあるジェスチャパターン(指示,囲む,結ぶ等)を記述したジェスチャフレーム,実際のペンの動きに対応したジェスチャ要素と呼ぶ3種類のデータ構造を定義し,生成アルゴリズムを開発した。協調理解サブシステムと生成サブシステムを交互に動作させる実験を通して,処理時間や同期等に問題が残るものの,文字ベースのみの場合と比べて使い勝手が向上することが確認できた。
|
