| 研究概要 |
従来より開発を進めてきた対話支援型初等数学問題解決システムの対話メディアを自然言語(日本語)だけでなく,ジェスチャにまで拡張し,問題解決のための知識をシステムに獲得させようとする際のマルチメディアコミュニケーションの実現方式と有効性を明らかにすることを目的として,以下の項目に従い研究を行った。
1.対話支援型問題化解決システム
小学校1年算数のドリルテキストを対象とし,テキスト認識サブシステムの出力である問題文の格構造と図形構造表現を入力すると,教師と日本語で対話しながら問題解決と解答合成に必要なコマンド系列を組み立て,実行するシステムを試作した。この結果,問題解決過程のどのような時点でどのような発話文を生成すればよいか,またそれに対する応答文を文脈情報を用いてどうように解釈すればよいかという問題に一つの解決法を与えることができた。
2.マルチモーダル対話における発話文とジェスチャの協調理解
机上のテキスト上での教師や指やペンによるジェスチャ(指示操作や描画操作)を一連の動画像データとして取り込める環境を構築し,背景画像と現画像との差分処理,フレーム間差分処理などにより,ペン先の軌跡を検出するプログラムを開発した。次に,ジェスチャと対になる発話文の情報および文脈情報と軌跡の空間的・時間的特徴を統合することにより,ジェスチャの意味を解釈する方法を提案した。
3.知識獲得方式・音声処理・顔画像認識
まず,対話により獲得する知識を教師のもつ問題解決のための経験則的知識と考え,これらの格納するためのフレーム表現を定めた。さらに、蓄積された知識の一般化法と再利用法を提案した。次に,対話を音声で行うための認識予備実験を行い,本タスクにおいて十分に利用できる見通しを得た。さらに,マルチモーダル対話においては顔の表情も重要な情報であると考え,顔領域検出アルゴリズムを開発した。
|
