| 研究概要 |
初等数学の世界を対象とした対話支援型問題解決システムの教師の教示動作(発話文と指示や例示等のジェスチャ)を意味解釈するアルゴリズムの開発と評価を目的として,以下の項目に従い研究を行った。
1.対話における文脈情報の表現と利用
先行発話文と発話意図,発話の状況,領域知識,話し手の注意状態からなる文脈情報を定義し,これに基づく発話文生成と応答文解析のアルゴリズムを開発した。小学校1年算数のドリルテキストの問題解決部と併せてC++言語でシステムを実装し,文脈処理が良好に動作することを確認した。
2.ジェスチャおよび音声発話の解析
教示のためのジェスチャはペンを用いてテキスト上で実行される。そこで単眼視によりペン先の位置の3次元座標が検出可能な入力環境を構築し,ペン先(指示点)系列の空間的・時間的変化パターンからその特徴を抽出するアルゴリズムを開発した。一方,音声発話は市販の音声認識ソフトウェアにより文節毎の候補群が抽出されるため,正しい発話文を推定するトップダウン型解析アルゴリズムを開発した。
3.発話とジェスチャの協調理解
音声発話とジェスチャの統合的意味表現として,問題解決過程の要素的処理手続きに対応したアクションフレームとアクションの対象物に対応した事物フレームからなるマルチモーダル意味表現を定義し,発話とジェスチャの解析結果から意味表現の生成と検証を行うアルゴリズムを開発した。初期フレームは文脈情報を用いてトップダウン的に生成し,複数の解析結果を統合して必要なスロットを埋めていく。
4.マルチモーダル対話におけるジェスチャ生成
音声合成装置による発話とCGによるジェスチャを並行して生成するために,有意味なジェスチャパターン記述したジェスチャフレームと実際のペンの動きに対応したジェスチャ要素を定義し,マルチモーダル意味表現からジェスチャフレームとこれらに同期した発話要素を生成するアルゴリズムを開発した。
|
